最 优化 理论 与 方法 讨论 的 是 为 找 出 对 象 问题 的 最 优 解决 策略 而 采取 
的 模型 化 及 其 方法 . 其 过 程 是 先 将 待 解决 问题 用 最 优化 形式 描述 为 在 给 
定 的 约束 条 件 下 找 出 使 菜 个 目标 函数 达到 最 大 (小 ) 解 ， 然 后 再 采用 数 
学 上 严密 的 算法 来 求解 . 这 一 领域 被 认为 是 运筹 学 的 一 个 重要 的 组 成 部 
分 ， 

所 谓 问 题解 决 方法 ， 除 了 运筹 学 外 ， 人 们 还 提出 了 人 工 智能 、 专 家 
系统 、 系 统 理论 、 模 糊 集合 、 神 经 网 络 和 遗传 算法 等 典型 方法 ， 并 使 它 
们 实用 化 .这些 方法 各 具 特 征 ， 承 担 解决 问题 菜 个 方面 的 任务 ， 但 难以 
替代 数学 规划 【最 优化 的 核心 部 分 ) 的 作用 . 这 是 因为 把 要 解决 的 问题 
撕 述 成 最 优化 问题 后 ， 没 有 其 他 方法 能 像 数学 规划 那样 深刻 解析 对 象 问 
题 ， 并 给 出 精确 解 ， 

我 们 不 仅 从 数学 观点 对 这 些 最 优化 方法 进行 理论 研究 ， 还 强调 了 它 
们 作为 实用 工具 在 现实 中 被 广泛 应 用 的 事实 ， 大 多数 有 代表 性 的 最 优化 
算法 已 有 方便 实 周 的 应 用 数学 软件 〈 优 化 工具 箱 ). 但 是 ， 有 效 地 利用 这 
些 成 果 是 以 有 待 解 决 的 问题 已 经 被 模型 化 成 最 优化 问题 的 形式 为 前 提 的 . 

尽管 仅 靠 最 优化 的 方法 不 能 解决 所 有 问题 ， 但 这 些 方法 对 解决 最 优 
化 问题 中 可 以 模型 化 的 部 分 是 必 不 可 少 的 ， 今 后 也 会 继续 起 到 解决 方法 
的 核心 作用 . 

最 优化 有 自己 独特 严谨 的 理论 结构 体系 ， 实 用 有 效 的 算法 ， 色 彩 斑 
调 的 应 用 ， 最 优化 算法 构造 巧妙 ， 注 重 计算 过 程 和 收敛 性 分 析 . 

计算 机 科学 的 发 展 为 最 优化 方法 提供 了 强大 的 计算 支撑 ， 算 法 的 易 
于 实现 既是 最 优化 理论 的 梁 辑 演绎 ， 同 时 也 促进 了 理论 的 坚 旋 式 发 展 . 
成 熟 的 应 用 数学 软件 既成 为 应 用 迅猛 发 展 的 有 力 工具 ， 也 使 得 各 种 不 同 
算法 的 成 功 比 较 得 以 完成 . 


本 书 是 根据 作者 多 年 来 的 讲义 修改 补充 写成 的 。 主 要 读者 对 象 为 数 
学 与 应 用 数学 、 信 息 与 计算 科学 等 理科 专业 和 管理 工程 、 系 统 工程 等 专 
业 本 科 生 和 和 理工 科 院 校 的 工科 研究 生 ， 以 及 从 事 运 筹 优化 应 用 的 工程 技 
术 人 员 、 管 理 人 员 。 全 书 共 分 七 章 ， 比 较 系统 地 介绍 了 线性 规划 、 非 线 
性 规划 、 整 数 规划 、 多 目标 规划 、 动 态 规划 、 蒙 特 卡 罗 方 法 ， 还 简单 地 
介绍 了 应 用 数学 软件 Matiab。 期 望 通过 本 书 的 学 习 ， 能 使 读者 较 好 地 理 
解 定量 优化 的 思想 ， 掌 握 一 些 基本 而 常用 的 优化 方法 ， 并 能 运用 优化 的 
观点 和 方法 分 析 解 决 实践 中 经 常 半 到 的 一 些 典 型 的 优化 问题 。 本 书 第 3、 
4、5、6、7 章 由 高 震 上 阜 撰写 ， 第 1、2 章 由 赵 艳 艳 撰写 ， 全 书 由 高 雷 乱 
修改 定稿 。 限 于 水 平 ， 书 中 蔬 油 难免 ， 忍 请 读者 批评 指正 。 


高 雷 息 
2005 年 10 月 
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Matlab 的 全 称 是 Matrix Laboratory， 由 美国 Math 而 orks 公司 开发 , 它 是 一 种 集 数 值 计 
算 、 符号 运算 , 可 视 化 建 初 和 发 展 以 及 图 形 处 理 等 多 种 功能 于 一 体 的 图 形 化 语言 ,主要 包 
括 钉 大 内 容 : 核心 函数 和 工具 箱 . 现 将 其 基本 功能 和 操作 介绍 如 下 . 


1.1 变 晶 


Matlab 中 变量 的 命名 规则 

(1) 变量 名 必须 是 不 含 空格 的 单个 词 ; 

{2) 变 基 名 区 分 大 小 写 ; 

{3) 变量 名 最 才 不 超过 19 个 字符 ; 

(4) 变量 各 必须 以 字母 开 始 ， 立 后 可 以 是 任意 字母 、 数 字 或 下 划 线 ,变量 名 中 不 允许 


使 用 标点 符号 ， 
除了 人 上述 命名 规则 ，Matlab 还 有 几 个 特殊 变量 , 见 表 1.1. 
要 1 
特殊 变量 取 对 
ana 用 于 结果 的 缺 省 变量 名 
pi 区 几率 
ee 计算 机 的 最 小 数 , 当 和 1 相 加 时 就 产生 一 个 比 1 大 的 数 
flops 评点 运算 教 
inf 无 交大 
NaN 不 定量 第 
网 
ij i=j= v1 | 
pargin 所 用 画 获 的 输入 变量 数目 
nargout 所 用 痛 数 的 输出 变量 数 日 日 
realmin 最 小 可 用 正 实数 -| 
realmax 最 大 可 用 正 实数 | 加 
下 二 
| / 
1.2 运算 符 及 标点 符号 量 分 


运算 符 见 表 1.2. 


CE 


en 


pn 


bh 


slsREEDL EEEED EL :sl 


4 


算术 运算 符号 数组 运算 符号 
| 
在 Matlab 中 ; 


(1) Matiab 的 每 条 命令 后 , 车 为 这 号 或 无 标点 符号 ， 则 显示 命令 的 结果 ; 车 命令 后 为 
分 导 , 则 禁止 显示 结果 . 

(2)“% "后 的 文字 为 注释 语句 . 

{3)“/. . "表示 续 行 . 


第 阵 运 算 符 号 


二 
A 


1.3 数 组 
1.3.1 数组 的 创建 
简单 数组 的 创建 见 表 1.3. 
衣 1.3 
常用 命令 ' 说 明 
x=[12345] 创建 和 包含 指定 元 素 的 行 向 量 
x=min 创建 从 m 开始 ， 吉 1 计数， 到 n 结束 的 行 向 量 
x=m:bin 创建 从 m 开 巡 , 加 p 计 数 ， 到 n 结束 的 行 向 恒 
x = lingpacet my n, p) 创建 从 m 开始 ， 淹 n 结束 ， 有 个 元 素 的 行 向 量 
x = bgspace( mn, p) 创建 从 i0m 开始， 到 10" 结束 ， 有 m 个 元 宗 的 对 数 分 隔行 向 量 


例 1.1 >> x=1: 2; 11 


其 一 


1 3 5 7 9 11 
> > y=linspace(0, 1, 5) 
Y = 

0 0.2500 0.5000 0.7$00 -1.0000 


> > z=logspacet0, 1, 5) 
蕊 一 


1.0000 1.7783 3.1623 5.0234 10.0000 
1.3.2 数组 元 素 的 访问 


(1) 访问 一 个 元 率 : 数组 元 陛 可 以 用 下 标 访 问 , 如 x(i) 表 示 数 组 x 的 第 i 个 元 素 . 

(2) 访问 一 块 元 素 : x= (a: b: c) 表 示 访 问 数组 x 从 第 a 个 元 素 开 始 、 以 步 长 为 0、 到 
第 < 个 元 素 ( 但 不 超过 四 的 元 素 . 

例 1.2 >> m=x(3: 2; 6), n=x(6: —4; 1) 


1.3.3 数组 的 方向 


鲍 1.2 中 的 数组 都 是 行 向 量 ， 数 组 也 可 以 是 列 向 量 . 列 向 量 的 数组 操作 和 运算 与 行 向 
量 是 一 样 的 , 唯一 的 区 别 是 结果 以 六 的 形式 显示 . 产生 列 向 是 有 两 种 方法 : 直接 产生 和 转 
置 产生 . 

例 1.3 >>> c={1; 2; 3], b=¢e 


CE 二 


1.3.4 向 最 函数 


一 般 标 量 隔 数 都 可 用 于 数组 ， 此 时 函数 作用 于 数组 的 每 个 元 紊 .向量 函 数 只 有 作用 于 
向 量 才 有 意义 ， 常 用 的 向 量 函 数 见 表 1.4. 向量 函 数 也 可 作用 于 矩阵， 此 时 运算 结果 为 一 个 


行 向 量 ， 行 问 量 的 每 个 元 是 函 教 作 用 于 矩阵 的 相应 列 向 景 所 得 药 结果 
囊 1.4 


中 疝 值 
肾 积 
具 小 到 大 排列 


1.4 和 盾 阵 


1.4.1 创建 矩阵 


《1) 直接 输入 创建 矩阵 , Matlab 中 不 需 旨 设置 矩阵 的 类 型 与 维 数 ,它们 由 输入 的 格式 
和 内 容 来 唯一 决定 ， 
小 矩阵 和 没有 任何 规律 的 矩阵 可 以 通过 直接 输入 元 素 的 方法 来 创建 ， 数 组 、 征 阵 的 元 
素 由 中 括号 括 起 来 , 同一 行 元 素 由 如 号 或 者 空格 分 开 , 行 与 行 之 回 由 区 车 或 者 分 号 分 开 
例 1.4 >[1, 2 
2, 3] 
和 DSS 三 


1 之 


一 


可 国 面 当班 加 再 中 图 旧 脐 


一 


2 3 
>> [1, 2; 3, 4] 
ans 三 
1 2 
3 4 
这 种 方法 工作 量 大 且 容易 出 错 ， 因 此 Matlab 提供 了 许多 函数 和 方法 可 雇 方 便 快速 地 
创建 矩阵 . 
(2) 使 用 冒号 创建 矩阵 .方法 与 创建 数组 类 似 . 
例 1.5 >> a=[ -pi: pi; 2: 8] 
—3.1416 —2.1416 -1.1416 —0.1416 0.8584 1.8584 2.8584 
2.0000 3.0000 4.0000 5.0000 6.0000 7.0000 8.0000 
{3) 使 用 函数 创建 起 阵 ( 抑 表 1.5) 


ss EE DE 


衷 1.5 

短 阵 符 导 | 说 明 
zerosti, j) | 创建 i 行 ; 列 的 金 受 矩阵 
ones(i, j) 创建 i 行 列 的 爹 1 矩阵 
eyeti 1) 创建 i 行 j 列 的 对 角 线 为 1 的 矩阵 
randfi， 祷 创建 ; 行 j 列 的 (0，1) 均 步 随机 矩阵 
[] 返回 一 个 空 给 阵 

1.4.2 矩阵 的 提取 


(1) 通过 使 用 冒号 提取 矩阵 . 
例 1.6 >> x=[123;456;:780]: 
>> x(t: , 1) 
ans 一 
1 
4 
7 . 
(2) Matlab 提供 了 diag，tril ，triv 等 消 数 ， 可 专 实 现 对 矩阵 的 提取 . 现 以 diag 为 例 . 
例 1.7 >> x={1: 3); A=diag(x) 


A = 

1 0 0 

0 2 0 

0 0 3 
>> x=diagtA) 
x = 

1 

2 


3 


>> A=daglx, 1) 
FE- 二 


Le | 


0 
0 
3 
0 0 
>> x= diagtA,， 1) 
x = 

1 


2 
3 


1.4.3 删 除 


(1) x(; ,站 =[] 将 矩阵 x 的 第 j 殉 删 除 ; 

(2) xti，; )=[] 将 矩阵 的 第 i 行 删 除 . 

例 1.8 >> x={[123;456;789]: 
>> x(; , 1)}={] 


时 一 


2 3 
5 6 
8 9 
1.4.4 矩阵 函数 
内 容 见 表 1.6， 


囊 1.6 


功 能 
矩阵 的 指数 
抢 阵 的 对 歌 
矩阵 的 条 忻 效 


年 阵 的 区 
对 应 于 特征 值 的 条 件数 


矩阵 的 零 空间 
1.4.5 ”特征 值 和 特征 向 量 


(1) d=eig(A) 人 退回 矩阵 A 的 特征 值 d ; 
{2) [V，D]= eig(A) 返回 两 个 给 阵 Y 和 DP,，D 的 主 对 角 线 由 A 的 特征 信和 组 成 ,VW 的 
列 向 量 由 页 的 特征 向 量 组 成 ， 
例 1.9 >> A=magic(3); 
> > [VY, Dl=eig(tA) 
区 = 


ETTTTTETL 


wr Elselsle EE ELI 


-0.5774 =0.8131l -0.,3416 
—0.S774 0.4714 -0.4714 
一 中 ,3774 0.3416 0.8131 


D= 
13.0000 0 0 
0 4.8990 0 
0 0 一 4.8990 


1.5 图 形 绘 制 


1.5.1 二 维 图 形 绘制 


Matlab 作 图 是 通过 描 点 、 连 线 实现 的 , 故 在 画 一 个 曲线 图 形 之 前 ,必须 先 取 得 该 图 形 
上 的 一 系列 的 点 的 坐标 , 命令 为 
plot(x, y, s) 
plot(x, y) 
plotr(x, yl, sl, x, y2, Ss2, ..., xX, yn, sn) 
其 中 , x, y 是 向 量 , 分 别 表示 点 集 的 模 化 标 和 纵 坐 标 , 命令 plot{x，y，s) 描 绘 该 点 集 所 宕 示 
的 曲线 ， 其 线 型 由 s 确定 : 


y 黄色 .点 - 实 线 
r 红色 o 图 -一 虚线 
g 绿色 + 加 号 : 点 线 
b 蓝 色 s 正方 形 -. 点 划 线 
命令 plot(x, yl1, sl, x,Y2, 32,...， x, yn, sn) 将 多 条 线 画 在 一 起 ， 人 参数 同 plot{x, y, s). 


例 1.10 在 [0, 2*p] 中 ,用 红线 画 sin(x)， 用 绿 图 画 cos(x)， 
>> x= linspace(0, 2 pi, 30); y= sin(x)}; 2= cos(x); 
>> plot(x, y, IT', x, z, go 


1.5.2 图 形 标注 
(1) xlabel，ylabel，title 三 个 国 数 分 别 对 < 轴 ，y 轴 以 及 全 图 进行 标注 ,可 以 使 图 形变 


倒 1.11 fplaot( snlix). /x , i -2020 一 各. 二 下 过) 
title( Fplos of f(x) = sin(x)/ x )s 
xlabel( x ), ylabell f(x) } 


Fplea ol (x) = wnt sds 
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图 1.2 
【2) 函数 gtext 可 以 将 一 个 字符 串 放 到 图 形 中 ， 位 置 由 饥 标 确定 
(3) grid on 可 以 在 当前 坐标 轴 上 潜 加 回 陪 战 . 
例 1.12 plotfpeaks(80)); 
Brext( a beartiful figure 。 fonrsize , 16); 
grid on 
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1.5.3 三 纵 图 形 综 制 


(1) plot3 画 数 可 以 用 来 绽 制 一 个 三 维 的 曲线 ,， 它 的 格式 类 似 于 plat, 不 过 多 了 
方向 的 数据 
例 1.13 t=0; pyS0; 10% pas 


plot3t sin(t}, cos(t): Cc)s 


可 


Ey PY En ee -wm Be Bt 民 当 和 re 下 区 有 
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fitleft Helix ) ;} 

xlabel( sinkty ); 

ylabell cos{ 1)'); 

zlabel( t ); 

axis( 订 ) % 加 上 这 个 指令 ， 注 意图 的 了 轴 及 曲线 方向 改变 了 
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-1 
1 
0 性, 
0 
eoa(+) 1 f 05 nt ty) 
图 1.4 


(2) mesh 也 是 三 维 空间 立体 绘图 的 基本 命令 ，mesh 可 画 出 立体 网 格 图 ， 其 产生 的 图 
形 都 会 依 识 度 有 不 同 颜色 ， 

例 1.14 画 出 由 冰 数 Z= ze-(”* 形成 的 立体 网 格 图 ， 

x=linspace( — 1, 1, 25); 

y=linspace( — 1, 1, 25); 

[xx，yyj = meshgrid( x, y); 

22 = XX, * exp( 一 XX 2 — yy. 2); 

mesh(xx, yy, zz) 
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1.6 M 文件 


Matiab 的 内 部 函数 是 有 限 的 ， 有 了 时 需要 定义 新 函数 ， 为 此 必须 编写 函数 文件 ， 函数 文 

件 是 文件 名 后 缀 为 M 的 文件 ,这 类 文件 的 第 一 行 必须 由 function 开始 ,格式 为 
function 因 变 最 名 = 函数 名 ({ 自 变量 各 ) 

例 1.15 曾 出 函数 f(z)= Vz 一 20)7+1002+ V(x 一 120)7+2002 的 图 形 . 

首先 要 编写 函数 文件 ，Matiab 中 有 一 个 新 建文 件 选 项 , 可 建立 新 的 M 文件 . 在 编辑 环 
境 下 录入 语句 : 

function yy = f2(x)}; 

yy= sqrt((x—20).°2+1002) + sqgrt((x— 120)."2+200-2); 
保存 ， 函 数 名 与 文件 名 相同 都 是 亿 ， 然 后 执行 语句 ; 

x=20: 120; y={2(x); 

plot(x, y) 

xlabel(’ x’ ), ylabel(’f2(x)') 

343 


335 


12(x} 


325 


1.7 优化 工具 箱 


工具 箱 是 Matlab 的 关键 部 分 ， 它 是 Matlab 强大 功能 得 以 实现 的 载体 和 手段 ， 也 是 对 
Matlab 基本 功能 的 重要 扩充 . 其 中 , 优化 工具 箱 (Coptimization toolbox) 涉 及 函数 的 最 小 化 或 
最 大 化 问题 , 那 函 数 的 棚 值 问题 . 它 的 主要 功能 包括 : 

《17 求 元 约束 非 线 性 最 小 化 ; 

(2) 求 有 约束 非 线性 最 小 化 {包括 目标 获取 间 题 ,最 小 最 大 化 问题 和 半 无 限 最 小 化 问 
题 ); 

(3) 线性 规划 和 二 次 规划 问题 ; 

(4) 约束 线性 最 小 二 乘法 ; 

(5) 解 非 线性 方程 ; 

(6) 非 线性 最 小 二 乘法 和 曲线 拟 合 问题 ; 

(7) 稀 琉 和 结构 化 大 尺度 问题 . 
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另外 ,还 可 以 通过 加 入 自己 编写 的 M 文件 或 者 把 优化 工具 箱 同 其 他 工具 箱 相 结合 来 
扩展 优化 工具 箱 的 功能 . 


1,7.1 Matlab 求解 优化 问题 的 主要 国 数 


内 容 见 表 1.7. 
衣 1.7 


类 型 模 型 


基本 函数 名 


mm ET 区》 
.tA 


一 元 锻 数 概 小 x = minbnd(F’, xl, x2) 


x= fminunct’F’, x0) 
| x= fminsearch('F ,x0D) 


区 一 jinprogfc， 上 由，b) 


无 约束 极 小 


mim eTx 
s.t. 点 KEEb 


.1 ” 
inin Hx + elx 


x= qadprogtH, t, A b) 


5s.t. Ax 人 Eb 
约 穴 概 小 min F(x) 区 po 0) 
{ 非 线 福 规划 ) st G(x) x= {fmincont FG ， 


minr 


述 到 目标 间 题 st, E(x) ~ wigoel = fgoalattaint F', x, goal, w) 
min max |Fitx)t 
极 小 可 大 问题 x 1Fu sx 


x= fminitnaxf FG’, x0) 
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1.7.2 优化 函数 的 输入 变量 


司 用 优化 函数 或 优化 工具 箱 中 其 他 惰 化 函数 时 ， 和 输入 变量 见 表 1.8. 
家 1.8 


调用 下 


线性 规划 的 目 标 函 数 f*X 或 二 让 规划 的 目标 画 数 和 X' > 
KE*X+fsX 中 线性 项 的 系数 向 区 

非 线性 优化 的 由 探 效 数 ， fun 必须 为 行货 令 对 和 象 或 MM 交 
件 、 妇 人 上 困 数 、MEX 文件 的 名称 

三 次 规划 的 目标 函数 Xv HH X+Te 其中 二 次 项 的 系数 | 
具 陈 undprog 
点 抵 降 和 向 量 分 别 为 线性 不 等 式 约 东 : AXSb 中 的 系 linprog: quadprog， fgoalattain, fmincon, 


数 和 矩阵 和 右 端 向 量 | fminimace 


Ata 矩阵 和 ben 向量 分 别 为 线性 等 臣 约 束 : Axq' X= beq lmprog. quadprog, fgcalattain, fmineon, 
中 的 系数 算 人 禾 各 有 辣 问 量 frninimax 


X 的 下 限 和 上 限 向 量 ; vib<<X 才 mb Nprog, quadprog, fgoalettain, fmineon, 
frinimax. lsqcurvefit, lsqnonlin 

选 代 初始 点 坐标 除 fminbnd 让 所 有 优化 函数 

函数 节 小 化 的 区 闻 


优化 选项 参数 结构 ， 定 义 用 于 优化 函 孝 的 驮 数 


Hinprog，quadprog 


fminbnd, fminsearch, fminonc, fmineon, 
lsqcurvefit, Lsqreomnlin, fgoalattain, fminimax 


所 有 优化 本 数 


1.7.3 和 需 化 函数 的 输出 变 首 


内 容 见 表 1.9. 
职 1.9 


扒 述 


由 优化 函数 求 得 的 值 .车 exidlag>0， 则 x 为 丁 ; 香 则 ， 
x 不 是 最 终 解 ， 它 只 是 迁 代 停止 时 优化 过 程 的 慎 


扬 有 做 化 函数 


linprog, qusdprog, fgoalattain, fmincen, 
fminimax, lsqcurvefit, lagnonlin, fminbnd 


解 x 处 的 目标 西数 信 


描述 退出 条 件 : exitlag >0, 疙 目标 函数 收 谣 于 解 x 奸 ; 
exitfiag 二 0， 表 已 达到 落雪 评 价 或 送 代 的 最 大 次 数 ;exitilag 
三 0, 囊 上 自 标 炒 数 不 收 敦 


包含 棺 忆 结 时 信息 的 输出 结构 . 
Iterations; 碗 代 次 数 

Algorithm; 所 采用 的 算法 
FunsCoumt: 函数 评价 次 数 


exitflag 


- 


ouYPut 


所 有 优化 函数 


1.7.4 控制 参数 options 的 设置 


options 中 常用 的 几 个 参数 的 名 称 、 会 义 、 取 慎 如 下 ， 

(1) Display: 显示 水 平 . 取 慎 为 "off" 时 , 不 显示 输出 ; 取 值 为 "iter" 时 ， 显 未 每 次 妈 代 的 
信息 ; 取 值 为 “final" 时 ,显示 最 终结 果 . 默 认 慎 为 "finaF. 

(2) MaxFunEvals; 人 允许 进行 函 教 评 价 的 最 大 次 数 ， 取 值 为 正 整 数 . 

(3) MaxIter; 允许 进行 选 代 的 最 大 次 数 ， 取 值 为 正 整数 .兵制 参数 options 可 以 通过 函 
数 optimset 创建 或 收 改 . 命令 的 格式 如 下 : 

QD options= optimset( optimfun )， 创 建 一 个 含有 所 有 参数 名 ， 并 与 优化 函数 optimfun 
相关 的 蚂 认 值 的 选项 结构 options, 

地 options = optimset ("pararnl ，valuel，'“ param2'，vaiuez，... 7， 创建 一 个 名 称 为 
options 的 优化 选项 参数 ， 其 中 指定 的 参数 具有 指定 人 入， 所 有 未 指定 的 参 歼 取 默 认 导 . 

options = optimset (oldops， “paraml’ ，value1， pararm2' ，value2，,..)， 创 建 名 称 为 
oldops 的 参数 的 拷贝 ， 用 指定 的 参数 值 媒 改 cldeps 中 相应 的 参数 .例如 

opts = optimset( Display , "iter, “TolFun’, le — 8). 

创建 了 一 个 称 为 opts 的 优化 选项 结构 ， 其 中 显示 参数 设 为 "iter”"，TolFun 参数 设 为 
“1e~8”. 

关于 优化 工具 箱 里 各 种 函数 的 用 法 ， 将 在 以 后 的 章节 中 详细 介绍 . 
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线性 规划 是 数学 规划 的 一 个 重要 分 支 , 它 在 理论 和 算法 上 都 比较 成 熟 ， 有 着 广泛 的 应 
用 ,不 仅 许 多 实际 课题 属于 线性 规划 问题 ,而 且 运 筹 学 其 他 分 支 中 的 一 些 向 题 也 可 以 转化 
为 线性 规划 来 解决 . 因此 ,线性 规划 在 最 优化 学 科 中 占有 重要 地 位 . 本 章 介 绍 如 何 应 用 线 
性 规划 的 理论 和 方法 解决 线性 系统 的 最 优化 问题 ， 


2.1 线性 规划 模型 


2.1.1 模型 实例 


鲍 2.4 农业 生产 计划 安排 问题 ” 某 村 计划 在 100 会 硕士 地 上 了 种植 A, 局, C 三 种 农 作 
物 ， 可 提供 的 劳力 、 凌 肥 和 化 肥 等 资源 的 数量 , 种植 每 公顷 作物 所 需 这 三 种 资源 的 数量 以 
上 及 能 获得 的 利润 见 表 2.1. 


这 2.1 


其 中 ,一 个 劳动 力 干 一 天 为 1 个 工 . 试 确定 三 种 农作物 的 种 植 面积 ， 以 使 得 总 利 渔 最 


大 . 
下 面 分 析 怎 样 建立 数学 模型 . 
设 农 作物 A，B,C 的 种 植 面 积分 别 为 xl, zs 和 zs 公顷. 显然 ， 总 利润 的 表达 式 为 
1500x1 + 1200z2 + 1800z3,， {2,1.1) 


确定 种 植 面 积 时 ， 资 源 扎 制 有 4 种 ， 
(1) 土地 限制 ， 总 的 种 植 面积 为 100 公顷 ， 即 


Xl1+ I2+ 33 = 100; (2.1.2) 
(2) 劳力 限制 ， 种 植 三 种 农作物 用 工 不 能 超过 允许 值 53000 个 工 ， 即 
450z1 + 6007x2 + 90073 < 63000; (2,1.3) 
(3) 北 肥 限制 ， 邯 
35zi + 2572 + 207r3 SE 3300; (2.1.4) 
(4) 化 肥 限 制 ， 即 
350z1 + 400x2 + 300z3 < 33000， {2.1.5) 


Ti TI TI 0. {2.1.6) 

综 上 所 述 ， 例 2.1 就 是 在 条 件 (2.1.2) 一 (2.1.6) 的 限制 下 , 求 最 优 解 zx1, x2, rs 使 
(2.1.1) 最 大 . 因此 , 问题 的 数学 模型 写作 

max 1500x1 + 12007x2 + 18007;, 
st， Tt 十 工 2 十 T = 100, 
450x1 + 600zy + 900z3 < 63000, 
35x1+ 25x27+ 30z3 RE 3300, 
350zx1 + 400zx2 + 3007x3 33000, 
Its Tas Xx3 六 日， 
其 中 ，max 是 maximize 的 简写 , 读 作 * 极 大 化 *"，s.t. 是 subject to 的 简写 ， 读 作 " 受 限制 于 ” 
或 “约束 条 件 是 ". (2.,1.1) 称 为 目标 函数 ，{2.1,2) 一 (2.1.6) 称 为 约束 条 件 . 

例 2,2 合理 下 料 问 题 ” 某 建筑 工地 需 制 作 一 批 直 径 相 同 的 钢筋 套件 ， 其 规 略 及 数量 
为 : 长 度 3m 的 共 甸 根 , 长度 4m 的 共 60 根 . 已 知 用 于 下 料 的 螺纹 钢 原料 每 根 长 0m. 问 
应 该 如 何 下 笠 才 合理 ?” 试 建立 数学 模型 . 

根据 原材料 长 度 及 所 需 钢 盘 的 长 度 要 求 ， 每 根 原料 的 下 料 方法 有 3 种 : 方法 1， 截 成 3 
根 3m 的 钢筋 , 剩 下 残 料 1m; 方法 2, 截 成 2 根 3m, 1 根 4m 的 锦 盘 , 无 残 料 ; 方法 3, 截 成 
2 根 4m 的 钢筋 ， 剩 下 残 料 2m. 其 余 的 方法 明显 不 合理 ， 可 不 于 考虑 . 

为 满足 各 种 钢筋 的 数量 要 求 , 可取 x; 原料 螺纹 钢 按 方法 i =1,2,3) 下 料 ,于 是 , 可 获得 

3m 句 筋 根 数 ， 37ri+27r2, 
4m 钢 盘 根 数 : T2273 
残 料 总 长 度 (im): z+ 2x3. 

一 般 来 说 ， 显然 在 满足 配套 成 90 根 3m, 60 根 4m 钢筋 后 , 总 会 剩 干部 分 长 产 为 3m 和 

4m 的 短 钢筋 ， 更 分 别 设 为 si 根 和 yz 根 , 即 
$1 = 3rl+2rz 一 名， 
s2 = X22+27x3 ~ 60. 
最 后 ， 需 要 讨论 的 是 ,合理 下 料 的 评判 标 淮 为 : 使 残 料 及 配套 后 赠 下 的 得 钢筋 的 总 长 
度 最 小 . 设 此 总 长 度 为 Z， 由 合理 下 料 问题 的 数学 模型 为 
min Z=7xX1+27r3t3s1+4s2, 
Sst. 3rit+2x2— #1=90, 
Xx2+2x3— $2=60, 
Tl 工 3， T3200, $1 5220, 且 xi, sy EZ,i=1,2,3,;=1,2. 
其 中 ，min 是 tninimize 的 简写 ， 读 作 ”* 极 小 化 ”. 
例 2.1,2.2 中 所 建立 的 数学 模型 均 为 线性 规划 模型 


2.1.2 线性 规划 的 特征 


从 例 2.1,2.2 可 以 看 出 线性 规划 (linear programming ， 箱 写 为 LP ) 在 本 和 岳 上 是 一 种 特 
殊 的 约束 条 件 下 的 最 太 ( 小 ) 什 问题， 其 数学 模型 由 两 大 部 分 组 成 , 即 目标 还 数 和 约束 条 
件 . 其 基本 特征 是 ， 
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(1) 目标 滑 数 是 线性 函数 ，; 
(2) 约束 条 件 用 线性 等 式 或 钱 性 不 等 式 表 示 . 
为 了 便于 讨论 并 寻找 有 效 的 解法 ， 需 要 约定 线性 规划 的 标准 形式 (standard form). 在 
本 书 中 , 约定 线性 规划 的 标准 形式 为 
min ZZ= crt car2zt + cnrn, 
St, Aart Amrs t+ Gantn = Hi, 


GaT1 + Or2 + "+ a2nrn = by 


Gm1X1 十 am2T2 十 … 十 amarn = bm, 
Zi 7= 1,2, ,nA. 
其 中 , 65. 实 0, i= 1,2,…, mt， 且 不 存在 多 余 约 束 . 
为 讨论 和 报 述 方便 ， 常 记 x = (xi, 72,…, zn)'， 称 为 决策 向 量 ; e = (el, cz,…, can), 称 
为 价格 向 量 ;B 二 (51,52,…, ba) 称 为 资源 向 量 ;4 = 《ai)mxn; 即 为 约束 方程 组 系数 矩阵 ， 
于 是 标准 形式 的 线性 规划 可 表示 为 
min ZZ= er, 


s.1, Ax = bb, 


这 笑 ， 
其 中 ,4 是 行 满 秩 的 ,5 完 :0. 
也 可 记 为 
min ZZ = 人， 
5.1. > ziP; = b, 
j=1 
x 六 修 ， 


其 中 ， P,;= (aL;, Qj9 am) 1， 丰 = {Pi, Py,*"*， Pp.,), 
2.1.3 标准 化 的 方法 


直接 根据 实际 问题 记 建 立 的 线性 规划 模型 常常 不 是 标准 形式 的 ， 其 资源 约束 条 件 和 变 
重 往 往 部 分 她 或 全 部 地 不 符合 标准 形式 的 要 求 , 但 是 ， 总 可 以 采用 如 下 的 办 法 将 它 化 成 标 
准 形式 . 

(1) 若 原 问题 是 极 大 化 问题 ， 即 


max 2 = Cx, 
s.t, xE€ED., 
考虑 新 闻 题 : 
min ZZ =— er, 
s.t, xcD. 
容易 证 明 , 这 两 个 问题 具有 完全 相同 的 最 优点 {当然 ,最 优 值 相差 一 个 符号 ), 因此 ， 
只 需求 出 Z' 在 同一 约束 下 的 极 小 点 , 就 得 到 了 原 间 题 的 极 大 点 . 
(2) 原 问 题 的 资源 约束 条 件 基 不 等 式 ， 即 


中 存在 某 个 i,， 使 


Zaazj Sb 
jl 


则 可 引入 一 个 非 负 变量 x';, 又 称 为 松弛 变量 (slack variable), 用 下 面 的 两 式 替 换 原 不 等 式 约 
东 : 


”留存 在 某 个 i, 使 


则 可 引信 一 个 非 负 变量 r ，， 文 称 为 剩余 变量 (surplus variabte)， 将 不 等 式 化 为 
(~ -Xi = bi, 
Eo 
(3) 若 某 个 变量 没有 正人 负 要 求 ， 即 
QD zj 是 自由 变 景 , 没有 符号 限制 , 则 可 用 两 个 非 负 变量 之 其 蔡 换 为 zi : 
| 忆 02 > 0. 


@@ 若 xi 要 求 是非 正 变量 , 则 可 令 


Ti =— Ij 
fj 0. 
例 2.3 试 将 下 列 线性 规划 标准 化 ， 
OD max 2Z = 271 — 4T2 + Sx, 
St. 3r71— X21 X= 5, 


271 一 TXT+T37 3， 

一 式 4 一 了 十 4 了， 

Tl Tar Ta3 2 人 0 

四 min Z£ = 471- Ti- Tr3, 
3.t. 1 十 4 一 I 三 9， 
3rl ~ I2+ Xi 雪人 

zl， 2 宇 0,z3 自 芯 ， 

逢 ”中 原 问 题 的 标准 形式 为 


min 2’ =— 2r +147- Sr, 

s.t. 3x1 一 下 3 = 5,， 
271 — I2 + 3x3 + Xa 三 和， 
一 1 一 2 十 73 一 5 = 7 


I I Xs 5 人. 


二 令 Fr 原 问 题 标准 化 为 


图 加 店 国 因 图 降 团 独 蔷 膨 国 固 站 呵 一 肌 芝 加 轿 国 司 归 男 


min Z=47I 一 区 一 了 T4 十 了 3， 
St, X11i+ x2 X414+xs = 9， 
3T1 ~ T2+ IT4- Tst+ rs = 4, 


Xs Ta Td Ts» Xe 0 


2.1.4 线性 规划 问题 的 解 


设 有 标准 形式 的 线性 规划 
min 了 = ex， (2.1.7) 
St. Arxr = 6, (2,1.8) 
x (2.1.9) 


定义 2.1 可 行 城 (feasible region) 设 集 合 
D= {irlAxr= b,x 人 0, 

路 D 是 满足 该 线性 规划 的 所 有 约束 条 御 的 点 的 集合 , 称 之 为 该 线性 规划 的 可 行 域 , 而 称 可 
行 域 中 的 点 为 可 行 解 (feasible solution), 或 可 行 点 . 

定义 2.2 最 优 解 Coptimal solution) 设 x** 是 线性 规划 的 一 个 可 行 解 ， 如 果 对 于 任 一 
个 可 行 点 xEDD, 者 有 

er” er, 

则 称 x “是 线性 规划 的 一 个 最 优 解 ， 而 煌 应 的 目标 函数 值 cx " 则 称 为 最 优 值 . 

如 果 可 行 域 D 有 界 , 可 以 证 明 , 必 有 最 优 解 ; 如 果 可 行 域 户 无 界 ， 则 既 可 能 存在 最 优 
解 ， 也 可 能 不 存在 最 做 解 . 也 就 是 说 , 虽然 存在 可 行 解 , 但 对 于 任何 一 个 可 行 解 ， 总 存在 目 
标 浮 数值 比 它 更 小 的 可 行 解 ,没有 一 个 可 行 解 满 足 最 优 解 的 定义 . 

显然 ,对 于 一 个 给 定 的 线性 规划 问题 ， 龙 其 是 为 解决 实际 问题 而 提出 的 线 福 规划 问 
题 ， 最 重要 的 是 要 得 到 最 优 值 ， 

由 于 已 约定 (2.1.8) 中 的 矩阵 4 是 行 满 秩 的 行 n 天 的 矩阵 , 4 中 至 少 存在 一 个 mn 院 
的 非 奇异 子 矩 阵 ， 

定义 2.3 天光 量 (basic veetor) 设 第 阵 吾 是 (2.1.8) 中 年 粕 4 的 一 个 mm 阶 非 奇 异 子 
矩阵 , 则 称 B 是 线性 规划 问题 (2.1.7? 一 (人 (2.1.9) 的 一 个 基 ， 称 基 的 列 向 莉 为 (这 个 基 对 应 
的 ) 基 向 量 ， 而 称 基 向量 对 应 的 变量 为 基 变量 (basic variable) . 

车 点 x 满足 约束 方程 组 Ax = 上 上, 而 且 由 基 吾 所 确定 的 非 基 变 景 在 x 中 的 信人 金 为 零 ， 则 
称 x 是 该 线性 规划 的 一 个 { 由 基 8 确定 的 ) 基 本 解 (basic solution)， 

设 中 是 基 , 将 系数 矩阵 上 4 的 列 作 适当 调整 ， 得 

点 =《【《 吾 ,IN). 
其 中 , 矩阵 N 是 非 基 向 量 构 成 的 子 和 矩阵 . 相应 的 , 记 由 菇 变量 构成 的 mn 维 向 量 为 xs, 非 基 
变量 构成 的 n - 严 维 向 基 记 为 zw， 则 有 
Ax=b, 


(B,N) = 名 . 


Xn 
NI . 
所 以 Bxrp + Nxw=b. 


-1 
令 sw=0, 风 向量 | 。* | 是 基 右 所 确定 的 唯一 的 基本 解 


显然 ,基本 解 不 一 定 是 可 行 解 ， 可 行 解 也 不 一 定 是 基本 解 . 如 果 点 x 既是 基本 解 ， 又 
是 了 可行 解 ， 则 称 x 是 基本 可 行 解 ， 简 称 基 可 行 解 (basic feasible solution)， 而 与 基 可 行 解 对 
应 的 基 则 称 为 可 行 基 . 如 果 一 个 基 可 行 镍 是 最 优 解 ， 则 称 其 对 应 的 基 是 最 优 基 ， 

例 2.4 设 


起 = (Pi,P py =| 9 00).s=(9 
e316 0 /al 


那么 ， 


， 引 ,| ， 引 |。 9 等 孝 是 基 , 而 | 。 “| 不 可 道 ， 因 而 不 是 基 


-1 
现 取 基 刀 =| | =- (Pa ps), 则 za= B15= | (3) =[3], mw x = (0, 0, 
3,0,2) 是 基本 解 . x 满足 非 负 条 件 ， 所 以 又 是 订 行 解 ， 因 此 x 又 是 基 可 行 解 . 
显然 ， 任 一 个 线性 规划 问题 只 有 有 限 个 基 ， 因 而 只 有 有 限 个 基本 解 ， 其 基本 可 行 解 的 
个 数 也 不 超过 CY 个 . 如 果 在 基本 可 行 解 中 ， 其 基本 变量 对 应 的 分 量 中 存在 零 ， 则 此 基本 


可 行 解 是 退化 (degenerate) 的 . 如 无 特别 说 明 ， 本 书 中 所 提 到 的 基本 可 行 和解 都 是 指 非 人 退化 
的 . 


2.2 线性 规划 的 基本 定理 


2.2.1 凸 集 的 概念 


定义 2.4 凸 集 (econvex set) 设 集 合 SEE", 5S 闫 名, 如果 尾 用 S 中 的 两 个 点 x0， 

x 人 ,以 及 区 间 [0,11 中 性 一 个 数 ,都 有 
A 4 1A)xY ES, 

则 称 集合 $ 是 西 集 . 

从 几何 的 角度 看 , hx + (1 一 x 中 代表 以 x 人 ,x 人 为 端点 的 线段 ,其 中 0 过 4 过 1, 因 
此 , 若 一 个 集合 是 凸 集 ， 则 表示 以 此 混合 中 的 任意 两 个 点 为 端点 的 线段 都 完全 落 在 此 集合 
中 ， 

例 2.5 集合 互 =ixlprxz=ai 为 凸 集 ， 其 中 ,p 为 2 维 列 向 量 ,a 为 实数 ， 

因为 对 于 任意 两 点 xo), zt 五 及 每 个 实数 A4E[0,1] ,都 有 

PTEaxt) +《L -一 A)x?] 一 BTY CD + (1 一 ApTx(2? = wa， 

因此 Mr + -A)xERH. 
根据 定义 2.4 知 五 为 凸 集 . 

集合 五 = |x|prr= el 称 为 E" 中 的 超 平 面 (hybperplane)y， 故 超 平 面 为 凸 浊 ， 

例 2.6 集合 甩 - =1x1pIxsal 为 凸 集 ， 

因为 对 于 任意 两 点 x 中, x2YERH- 及 每 个 实数 A€[0,1], 都 有 

PIT[azt + (1 — ANx] = APTzt + (1 — ANpTAx} < a, 

所 axl Ax ERH-. 

根据 定义 2.4 知 互 为 凸 集 . 

集合 五- = 1x1pTx 委 ea 称 为 半空 间 ， 故 半空 间 为 西 集 . 

运用 定义 2.4, 不 难 验 证 下 列 命题 ， 


草 园 辕 则 六 


Ts EL EEEEL EL LL: 


设 51 和 S; 为 E" 中 两 个 西 集 , 8 是 实数 ， 则 
(1)8S1 = 1x |xE St 为 止 梨 ; 
(2)S1 门 S: 为 耳 集 ; 
(3)Si+S2=|zD+x2iztESzxzE Si 为 凸 集 ; 
(4)S1- Si =1xz0 一 xxrcESwreESl 为 凸 集 . 
在 一 个 凸 集 的 点 中 ， 有 些 点 处 于 特 殊 的 地 位 ， 如 线段 的 两 个 端点 、 三 角形 的 三 个 顶点 ， 
称 这 些 点 为 极点 ， 下 面 给 出 极点 的 一 般 定义 . 
定义 2.5 极点 (extreme point) 设 集合 S 是 凸 集 ,点 x 蚌 S 中 的 点 .如 果 任 取 S 中 的 
两 个 点 zx， 以 及 开 区 间 (0.1) 中 和 任 一 个 数 1， 都 不 可 能 有 
= x+(L — Ar, 
则 称 x 是 凸 集 3 的 一 个 级 点 ， 
容易 理解 , 设 若 点 x ,x 中 ,x 2 均 属于 山 集 S,0 委 1 委 1 ,那么 ,点 x 为 吓 集 S 的 极点 
的 充 要 条 件 是 : 如 果 等 式 
x = Ax + (1 A)x? 
成 立 , 则 必 有 


(2) 


定义 2.6 设 x 中 ,…,xi") 为 E" 中 的 m 个 点 ,车 存在 m 个 数 满足 


x= X =x 


上 一 pe > = 1, 
刚 称 点 x* 是 点 x 全 ，…, x 人 *! 的 一 个 号 组 合 . 
可 以 证 明 ， 有 界 财 凸 集中 的 任意 点 都 可 以 天 示 为 其 极点 的 凸 组 合 . 但 对 于 无 界 山 集 ， 
上 述 结论 不 成 立 , 仅 有 部 分 点 可 用 极点 的 凸 组 合 表 示 . 为 讨论 元 界 西 集 , 需 引 人 人 极 方向 的 
定义 2.7 设 集 合 $ 是 + 维 欧 氏 空 间 E" 中 的 困 西 集 , d 是 中 的 非 零 身 量 . 如 果 对 
于 S 中 的 每 个 点 x， 了 人 >0 YAE(0,8), 都 有 
X 二 和 有 六 必 
则 称 向 基 4 是 凸 集 S$ 的 一 个 方向 . 如 果 d1, ds 是 $ 的 方向 , 且 
du, Ye>0, 
则 di, ds 是 两 个 不 同 的 方向 . 进一步 , 如 果 上 是 凸 集 $S 的 一 个 方向 ， 且 不 能 表示 为 S 的 另 
外 两 个 不 局 的 方向 的 正 组 侣 ， 风 称 4 是 S 的 一 个 慑 方向 ， 
在 图 2.1 中 , S 是 一 个 无 界 凸 集 , 向 量 ,do, d;, ds， 都 是 $ 的 不 同 的 方向 , 且 di, d2 
是 极 方向 ，d3, d4 不 是 极 方向 . 根据 平行 四 边 形 法 则 ， 易 得 
ds = Mdi + hd2, A1 > 0 > 0, 
da = adi tt aad, al > 0,ar > 0, 
这 与 极 方向 的 定义 不 符 . 


2.2.2 四 集 分 离 定理 


西 集 的 一 个 重要 性 质 是 分 离 定 理 . 在 最 优化 理论 中 ， 有 些 重要 结论 可 用 凸 集 分 离 定 理 
来 证 明 . 


所 谓 集 合 的 分 离 ， 是 指 对 于 两 全 集合 P 和 Da， 存 在 一 个 超 
平面 再 , 使 D, 在 互 的 一 边 ，D;z 在 百 的 另 一 边 . 如 果 超 平面 的 
方程 为 p'x = a, 那么 对 位 于 五 某 一 边 的 点 x*， 必 有 pixre, 而 
对 位 于 互 另 一 边 的 点 x, 必 有 p'x 护 a. 

定义 2.8 设 Di 和 ;是 E* 中 两 个 非 空 集合 , H=1xip'x 图 2.1 
= a| 为 超 平 面 、 如 果 对 每 个 xE DI, 都 有 pTx 守 a; 对 于 每 个 xE Di, 都 有 pT'x 扩 a( 或 情 
形 恰好 相反 )， 则 称 超 平 面 日 分 离 集合 D1 和 xz， 

为 给 后 面 证 明山 集 分 离 定 理 作 好 准备 ， 先 给 出 定理 2.1,2.2. 

定理 2.1 设 集合 万 = 1x1Ax=b,x 守 0 中 ,其 中 4 基 行 满 秩 的 行 # 列 矩 阵 . 那么 ， 
集合 品 是 闭 凸 集 . 

证 明 首先 ,证 明 D 是 凸 集 . 任 取 品 中 的 两 个 点 x 中 ,x 人 ,以 及 4AE[L0,1], 则 有 

Ax' ?= b,x 0,i = 1,2, 
种 [ax + (1 AX] = AAxrD + (1 — A Ax 
ab + {1—- aA)b 
= b, 
且 Art + (1 -A)x 2 20, 
所 以 AxtD+ (~ AYX HED. 
由 出 和 集 的 定义 知 ,， DD 是 凸 集 . 

其 次 , 可 以 证 明 D 是 闭 集 . 任 取 中 的 收 黎 序列 1xt? 1 ， 设 其 极限 点 为 Y， 则 只 需 证 

明 x€P 有 邮 可 , 注意 D 是 线性 规划 可 行 域 ， 可 等 价 地 表述 为 


D = tc oz Pi = b> 0}, 
j=1 
所 以 x 避 的 每 个 分 最 x19,j 一 1,2,…, n 都 满足 


2 一 下， 于 = 1,2,. ,nn. 
j= 


因 XT, 当 天 一 > 十 co ， 
测 Kr j=1,2,.…,n, 当 k++0%, 
所 以 >》 xiP; = b,x;0, jj 三 1,2,*…, 天， 


=] 
表明 x 亡 人 中， 所 以 也 是 闭 集 . 

综 上 ， 和 集合 D 是 闭 凸 集 . 

定理 3.2 设 也 为 E* 中 的 闭 贞 集 ,? 和 六 ， 则 存在 唯一 的 点 xE， 使 

Hy—xi = igf ly— xl. 
证 明 令 
if 一 | = > 由 

由 下 硝 界 的 定义 可 知 ,存在 序列 1x ,xzt 反 万， 使 得 上 7 了 -~ 区 站 一 r. 先 证 1 存在 极 


限 x 扣 也 , 为 此 只 需 证 明 | x 为 Cauchy 序列 . 根据 平行 四 边 形 定律 (对 角 线 的 平方 和 等 于 
一 组 邻 边 平方 和 的 2 倍 ) 有 


Or 


加 加 国 加固 


此 
es 


| ze x = 2 yi Ey 
2 x y+2| x "yl? -4r2. 
由 此 可 知 , 当 上 和 六 充分 太 时 , 上 x 一 x 人 "中 充分 接近 零 . 氏 此 和 (中 ] 为 Cauchy 序列 ， 
必 存 在 极限 x， 叉 因为 DD 为 闭 和 集 ， 所 以 x ED. 


再 证 唯一 性 ， 设 存 在 XED,， 使 


by-xl = ly-xl=r. (2.2.1) 
由 于 D 为 凸 集 ,x ,ED ,因此 ED, 根据 Schwartz 不 等 式 ,得 
Ly -| yy (2.2.2) 
由 的 定义 及 (2.2.2) 可 知 
y= (2.2.3) 
则 
了 一 于 二 ACy 一 工 )， 
移 此 


jy—-x) =14 y~ 主 |. (2.2.4) 
考 碰 (2.2.1), 可 知 [A1=1, 车 X= 一 1， 则 由 {2.2.3) 可 推出 yE DD, 与 假设 矛盾 ， 所 以 
A 也 一 1 圾 A=1， 从 而 由 (2.2.3) 得 到 工 = 工 . 
下 曾 利 用 定理 2.2 证 骨 点 与 凸 集 分 部 定理， 为 此 上 先 给 出 点 与 闭 凸 集 分 离 的 一 种 表达 
式 . 
设 DD 为 质 凸 集 ,y 直 万 , 瑟 = rpIr= 地 为 超 平 面 . 根据 定义 2,8，H 分 离 点 y 与 集合 
也 意味 着 , 若 pTy>a, 则 pix 所 qa, YxED . 令 pTy-a=es， 于 是 ?与 万 的 分 离 可 表示 
为 
pIy Ps+pIY， YYEDD. 
定理 2.3 设 刀 是 己 " 中 的 非 空 闻 同 集 , yD ， 则 存在 非 零 向 量 p 及 数 e >0， 使 得 对 
每 个 点 xED, 成 立 p'ly 之 e+ px. 
证 明 ”由 于 忆 为 户 西 集 , y 夺 人 ， 则 由 定理 2.2 知 ， 存在 xED, 使 
ly-zl = inf ly-x*l. (2.2.5) 


令 p=y-x,s=p《y~x) . 下面 证 明 , 这 样 确定 p 和 e 后 ,对 每 一 点 xE DD， 必然 满足 


pliyetplx, Bp (yx)>e. 
由 于 
ply—-x)= p(y-x+x—x) 
= p(y—-x)+p (x—x) 
e+(y-x) (x — x*), (2.2.6) 


因此 ,和 需 证 明 ( 一 x) T(x 一 x) 守 0. 
在 x 与 x 连 线 上 取 一 点 4x + (1 XA)x， 则 
Hy—xhl? yaxrt( Ar = ly x) +A(x -x)}? 
=|y -xirarlxr xi?t+2Ay — x) (x — x), 
由 此 可 向 


(人 一 BT x) + -rl (2.2.7) 


令 1 一 0， 则 由 (2.2.7) 得 
(y ~ x) (rt 一 2) 交 0. (2.2.8) 
由 (2.2.6) 和 和 {2.2.8) 知 pT(y 一 x) 闫 se， 即 
prye+t+px, Yr€D. 

定 划 2.3 表明 ， 当 也 为 闭 凸 集 , y 信 DD 时 , y 与 DD 是 可 分 次 的 . 显然 ， 当 DD 为 非 空 凸 
集 , 不 一 定 为 闭 焦 ，y 久 clD 时 ,定理 结论 也 是 成 立 的 . 这 里 cD 表示 和 集合 DD 的 闭 包 (由 D 
的 内 点 和 边界 点 组 成 的 集合 ). 进而 可 以 证 明 , 当 P 为 非 空 凸 集 ，y E93D(3D 表示 也 的 边 
界 ) 时 , 下列 定 理 成 立 ， 

定理 2.4 设 记 蚌 E* 中 一 个 非 空 凸 集 ,yE9D ， 则 存在 非 零 向 量 p， 使 得 对 每 一 点 
xEcD, 成 立 p lyp'Y. 

证 明 ”由 于 yE3Dp， 册 存在 序列 (17y 的 丰 clD 时 ， 使 得 ?人 一 7 对 于 每 一 点 
yt， 由 定理 2,3 可 知 ， 存 在 单位 向 基 pp， 使 得 对 每 个 点 x E€ ceD， 成 立 
PDT PDT 中 于 序列 {p 的 1 有 界 ， 必 存在 收 伍 子 序列 { pc， 其 极限 为 单位 向 量 
p. 对 于 该 子 序 列 当然 成 立 py 加 > ptiDTx, ¥YxYE cD. 固定 xEeD, 令 居 一 ce， 得 到 
pyp'r, ¥YxtcD. 

根据 定理 2.3 和 定理 2.4 可 以 得 到 下 列 推论 . 

推论 设 D 是 E" 中 的 非 空 凸 集 ，? 各 也 则 存在 非 零 向 量 p 使 得 对 每 一 点 xE ctD, 有 

PICz -yy)&0. 
下 曾 介 绍 关于 两 个 非 空 凸 集 的 分 离 定理 ， 
定理 2.5 设 Di 和 Ds 是 E”" 中 两 个 非 空 是 集 , D1 门 D;= 人 名, 则 存在 非 等 向 量 p, 使 
infipix|lxeEDisuplplx|lxE€ Dl. 

证 明 令 D=Ds-Di=iz|jz=* -x ,xDEDL,x2ED;1, 由 于 Di 和 ;为 非 
空 凸 集 , 因此 P 是 非 空 凸 集 . 由 于 Di 人 Da= 人 ， 则 零 元 素 0 千 DD. 根据 定理 2.4 的 推论 ， 
存在 非 零 向 其 p, 使 得 对 每 一 个 z ED, 上 成立 p'z 志 0， 即 

pTxD > pTxO, Yr) € Di, x € D2. 
因此 命题 得 证 。 
作为 凸 集 分 离 定理 的 应 用 , 下 面 介绍 Farkas 定理 和 Gordan 定理 ,它们 在 最 优化 
理论 中 有 非常 重要 的 应 用 ， 

定理 2.6 Farkas 定理 设 A 为 m Xn 人 窍 阵 ,ce 为 n 维 向 量 , 则 Ax 志 0,c1x>0 有 和解 
的 充 要 条 件 是 ATy 二 c,y 庆 9 元 解 . 

证 明 必要 性 设 Ax 所 0, eTx >0 有 解 ， 即 存 在 x, 使 Ax 志 0 且 cx >0. 现在 证 明 
和 TIy = 了 320 无 解 , 用 反 证 法 . 设 存在 y 守 0, 使 

ly= eo. 【2.2.9) 
将 (2.2,9) 两 端 转 咽 ， 并 种 乘 x， 得 
yr Ax = clx. (2.2.10) 
由 于 y 守 0, Arx<0, 因此 7I4rs0. 从 而 由 (2.2.10) 得 cTxs0， 与 cIx>0 的 假设 矛盾 . 
充分 性 ” 设 上 I7=c,yZ20 无 解 , 证 明 Ax 志 0, cx>0 有 解 . 令 
站 =jzlz= ATy,y 2 0, {2.2.11) 
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加 有 加 因 和 氏 吕 名 加 区 加 加 区 


二 


,23 .| 


六 区 = Be Bt 
留 贸 如 好 斗 国贸 略 多时 


显然 D 为 闭 凸 集 ,， 由 假设 ec 机 也 , 根据 定理 2.,3, 存在 非 等 向 量 x 及 数 s >0， 使 得 对 每 一 点 
zz 万 品 , 成 立 


TI e+xTIz， (2.2.12) 
由 于 =>0, 根据 {2.2.12), 必 有 
Xie > xx, (2.2.13) 
两 端 转 置 ， 并 考虑 集合 户 的 定义 , 有 
- elix > YITAr， 【2.2.14) 
在 (2.2.14) 中 , 令 y=0, 得 
eTx >0. 《2.2,15) 
由 于 eTx 为 基 个 确定 的 数 ,yd0，y 的 分 量 可 取得 任意 大 ,因此 .由 (2.2.14)? 又 可 以 得 
Br 志和 0 2.2.16) 


由 (2.2,15) 和 (2.2.16) 知 非 零 向 量 x 是 4x 志 9, cx >0 的 解 . 
定理 2.7 Gordan 定理 设 A 为 m xn 撼 阵 , 那么 ，Ax 达 0 有 解 的 充 要 条 件 是 不 存在 
非 零 向 量 y220, 使 A 了 y=0， 
证 明 洛 要 性 设 Ax<0 有 解 ， 即 存在 x， 使 Ax <0, 证 明 不 存在 非 零 向 量 y 渤 0, 使 
Ty 一 0. 设 某 个 非 堆 向量 ?使 和 AIy=0， 即 
yA = 小， (2.2.17) 
两 端 右 蘑 x, 得 
y Ax = 0. {2.2,18) 
在 (2.2.18) 中 ,由 假设 Ax <<0 知 ,y 的 诸 分 后 不 可 能 爹 为 非 贷 数 ， 即 ， 六 0. 
充分 性 ” 设 不 存在 非 零 向 其 y 实 0, 使 ATy=9, 证 明 &x 之 有 解 . 来 证 明 它 的 等 价 命 
题 ， 即 证 若 Ax < 0 无 解 ， 则 存在 非 零 向 量 y 守 0 使 4 7 =0. 设 Ar<p 无 解 . 


令 


= liliz= Ax,xt€ E", (2.2.19) 
以 及 
Dy= {zlz < 人 li (2.2.20) 
由 于 4x <0 无 解 ， 因 此 Di 站 Da2z= 多 .根据 定理 2.5， 存 在 非 零 向 量 y， 司 得 对 所 有 x 
EE" RriED,, 下 式 成 立 : 


yAx yr, 《2.2.21) 
特别 地 ， 当 x = 0 时 ,有 
7Tz 0, (2.2.22) 
由 于 <<0, 它 的 分 量 可 取 任 何 负 数 ， 因此 由 {2.2.22) 知 
? 汪 , (2.2.23) 
在 (2.2.21) 中 , 令 x 一 0, 得 到 对 每 个 xE€ EE" 均 有 
yAx 六 0. {2.2.24) 
令 x= -4TIy,， 代 入 (2.2.241， 则 =- 1 4Ty 目 闻 0,， 因 此 
ATy = 0. (2,2.25) 


由 (2.2.23) 和 (2.2.,25) 可 知 存在 非 零 向 量 y 守 0, 使 47y=0. 
2.2.3 线性 规划 解 的 基本 定理 


定理 2.8 设 x 是 标准 线性 规划 问题 的 可 行 解 , 那么 ,x 是 苦 可 行 解 的 充 要 条 件 是 x 


的 正 分 最 对 应 的 列 向 量 线性 元 关 . 

证 明 必要 性 设 x 是 基 可 行 解 ,那么 ,出 基 可 行 解 的 定 尽 ， 可 知 其 正 分 量 为 基 变 量 ， 
对 应 的 列 向 量 都 是 基 向 量 ， 显 然 线 性 无 区 . 

充分 性 设 ~ 的 正 分 量 为 x ,…, zl， 其 对 应 的 列 向 量 Pi,*, P. 线性 无 关 . 显然 ， 上 

着 记 = xm 可 用 来 枸 成 一 个 藉 , 则 x 是 基本 解 . 而 已 知 x 是 可 行 解 , 故 x 又 是 基 可 行 
解 ; 

车 上 忆 癌 ,由 于 4 的 秩 为 四， 必 可 从 六 中 再 挑 出 六 -大 个 列 向 量 ， 与 Pi,…, Pi 一 起 
构成 一 个 极 大 线性 无 关 组 ,中 为 一 个 基 ， 由 此 可 知 x 是 基 可 行 解 ， 

定理 3.9 设 x 是 可 行 域 D 的 极点 ,那么 ,x 最 多 有 wm 个 正 分 量 . 

证 明 设 x= {ri …, zy0,…,0)1, 若 上 >m， 由 于 有 A& 的 秩 为 m，、 则 P!,…, P, 线性 
相关 , 于 是 存在 个 不 全 为 零 的 数 1， 使 得 

Sap, = 帅 . 


i=l 


因为 xED, 故 


及 是 
2 TP; = b> orp) = b. 
j=! ji 
现 构造 两 个 点 x 中 ,x ,使 满足 
x 一 《x1 十 加 有 1 十 axy 0 ,0)T, 
Xx) 一 《2 一 人 0 0) 
其 中 ，a 是 充分 小 的 正 数 . 显然 有 


x 0, x 2 宇 0 


且 
2 
xD = DT + alj)P; = 2 zt, + a ZAP = 忆 ， 
j= Tm +™ 
所 以 x WED, 
同 理 x ED, 


注意 到 4 不 金 为 零 ,a >0, 所 以 


xtl) 了 无 了 ， 


但 + 
开明 x 木 是 记 的 极点 ,与 已 知 条 件 淮 盾 , 故 
mm 


定理 2.10 对 于 标准 形式 的 线性 规划 ， 基 可 行 解 与 可 行 域 的 极点 一 一 对 应 . 
证 明 ”首先 证 明 极点 必 是 基 可 行 解 . 设 x 是 极点 ,由 定理 2,9， 可 设 
x = (x TO 0 
若 x 不 是 基 可 行 解 ， 由 定理 2.8， 向 量 Pi,…, P; 应 线性 相关 . 仿照 定理 2.9 证 明 过 程 ， 可 
推导 出 x 不 是 极点 , 与 已 知 条 件 蒜 秆 , 故 可 知 x 必 是 基 可 行 解 . 


其 次 证 明基 可 行 解 必 是 极点 . 设 x 是 基 可 行 解 ， 由 定义 ,可 设 其 对 应 的 基 向 量 为 Pi, 


回 加 于 回 加 
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弄 基 回国 国明 图 


图 周 回 加 图 园 轩 七 加 癌 如 国 因 和 国 量 和 基 


“… ,PP。， 于 是 , 可 设 x 为 

x = (x Tm OT 
车 x 不 是 极点 ,， 则 存在 异 于 x 的 两 个 点 x 人 ,x 名 ,县 x 人 0 关 x 人 以 及 数 E00,1), 使 得 

x = xi + (~ Ar, 
上 和 式 的 分 量 表达 形式 为 

元; 三 和 后 + {1-— A zh 7 = 1,2,",n 
显然 , 当 j> sm 时 ， 有 
x = x = x = 0， (2.2.26) 

再 由 x 中 ,x 中 均 是 可 行 点 ， 故 


两 式 相 减 , 得 
p31 一 工作 ) Pi = 0. 


已 知 Pj,…, P,, 线性 无 关 ， 所 以 有 
ri =r, 了 一 1,2,.,m, (2.2.27) 

综合 (2.2.26), {2.2.27), 应 有 xt =xe， 与 已 知 条 件 了 矛盾， 所 以 x 必 是 和 极点. 

推论 ”线性 规划 可 行 域 D 必 有 且 只 有 有 限 个 极点 . 

定理 2.10 指出 了 一 种 未 解 线性 规划 问题 的 可 能 途径 , 这 就 是 先 确定 线性 规划 问题 的 
基 . 如 果 是 可 行 基 ,， 则 计算 相应 的 其 可 行 解 以 及 相应 解 的 目标 函数 值 . 由 于 基 的 个 数 是 有 
限 的 (最 刻 Cz 个 )， 了 四 此 必定 可 以 从 有 限 个 基 可 行 解 中 找到 使 目标 函 数 为 最 优 ( 极 大 或 极 
小 ) 的 解 .但 是 ,线性 规划 的 其 的 个 数 随 着 问题 规模 的 增 大 而 很 快 增加 ， 流 致 实际 应 用 上 成 
2 举例 案 说 , 一 个 有 50 个 变节 、20 个 约束 等 式 的 线性 规划 问题 , 其 最 多 可 能 


有 (入 = 可 07 =4.7x195 个 . 很 显然 ,借助 于 定理 2.10 求解 线性 规划 问题 ,哪怕 是 规模 
不 大 的 问题 .实际 应 用 上 也 是 不 可 能 的 ， 

下 面 不 加 证 明 地 直接 引用 有 关 可 行 域 D 的 重要 结论 (通常 称 之 为 表现 定理 )， 

表现 定理 。 设 D 是 线性 规划 的 可 行 域 ， 则 

(1) 当 D 有 界 时 ，D 中 任意 一 点 均 可 表示 为 其 极点 的 凸 组 合 ; 

(2) 当 D 无 界 时 , 必 有 且 只 有 有 限 个 极 方向 . 设 著 DD 有 上 个 极点 x 中 ,x 人 9，…， x 5 
有 上 个 级 方向 di, dz,…,dr, 则 D 中 任 一 点 x 可 表示 为 


E L 
x = DA + 2 pj;. 
j=1 j=1 


其 中 ,2j 实 0， > l=1, p20. 


及 之 ， 满足 上 述 条 件 的 点 必 是 可 行 点 ， 

定理 2.11 钙 果 标 准 线性 规划 的 可 行 域 卫 有 界 ， 则 必 有 某 个 极点 是 最 优 解 ， 

证 明 由 定理 2.1 知 ,， 刀 是 闭 止 集 ， 又 目标 函数 是 连续 函数 ， 故 必 可 在 D 上 达到 最 小 
值 , 设 最 小 值 点 为 x,xEED. 

若 x 是 极点 , 则 定理 已 豆 证 , 车 * 不 是 极点 ， 可 设 D 的 极点 为 zt, xxtb， 由 


表现 定理 , 已 知 存在 个 非 贷 数 %,, 使 


t= part 了 = 上 二， 
由 于 只 有 有 限 个 极点 ， 人 xz)， 满 足 
wx) = miner' 7, [ 雪 工 挟 天， 


则 Cx = Sacxd) 次 cr 一 ex 人 ， 


1=l 


表明 极点 x 民 ?也 是 一 个 最 小 值 点 (最 优 解 ). 


当 可 行 域 无 界 时 ,线性 规划 不 一 定 存 在 最 做 解 , 但 是 有 如 下 关于 最 优 解 的 定理 成 立 . 
定理 32.12 设 线性 规划 的 可 行 域 局 无界 ，x 中 x，… ,x 由 是 金 部 极点 , di，…， 


是 全 部 极 方 向 ， 那 么 
(1) 最 优 解 存在 的 充 要 条 件 是 
ti 0, 7 = 1,2,.,L 
(2) 车 存在 最 优 钾 ， 则 有 某 个 极点 是 最 优 解 . 
证 明 (1) 由 表现 定理 , 对 任 一 可 行 点 x*， 有 


此 工 
x = Dx + Dp 
j=l j=l 
二 


其 中 了 >， 4 一】 生字 0 p20. 
jul 


原 线性 规划 可 化 为 


min = ef Bae" 十 Be 


所 芝 0， 了 = 1,2,.…,L. 


若 存 在 某 个 ;, 使 cd;<0, 闭 么 , 令 相应 的 yp 任意 大 ， 则 对 应 的 点 x 仍 为 可 行 点 ,但 所 得 
的 目标 消 数 值 将 任意 小 , 不 存在 最 优 解 ; 反之 ,， 易 知 当 存 在 最 优 解 时 ， 不 可 能 存在 使 cdj<0 


的 ), 于 是 , 定理 的 结论 {1 成 立 . 
(2) 设 存在 最 优 御 ， 由 (1) 可 短 
edj 守 0 j= 1.2,…, 工 
于 是 ,对 任 一 可 行 点 x， 有 


上 上 让 由 由 
cx = cl Zp + en) = 2 + 人 Ad 


> Ser 次 2 (minex‘D}) = minexr( ， 守 = 1 2，… ,大 


j=l1 
显然 ， 存在 某 个 极点 x*7?, 使 
oxo = mincx' i), 1 过? 记 卡 ， 


即 


ox > cert), 


洱 


昌 


表明 极点 x 个 是 最 优 解 (最 小 值 点 ). 
2.3 单纯 形 法 


单纯 形 法 {simplex method) 是 解 线性 规划 问题 的 一 种 通用 的 有 效 算 法 ， 这 种 方法 是 
GG. B.Dantzig 在 1947 年 提出 的 ， 后 来 人 人们 又 进 行 了 一 些 改 和 进 ， 几 十 年 的 实践 表明 ， 单纯 形 
方法 不 仅 是 求解 线性 规划 的 基本 方法 ,而且 是非 线性 规划 和 整数 规划 中 某 些 算法 的 基础 ， 


2.3.1 单 绩 形 法 的 基本 思想 


定理 2.10 已 经 指出 ， 一 个 线性 规划 问题 若 有 最 优 解 ， 则 一 定 有 最 优 的 基本 可 行 解 ,而 
且 基 本 可 行 解 的 个 数 是 有 限 的 . 因此 ,一 个 求解 线性 规划 问题 的 直观 想法 是 把 所 有 的 基本 
可 行 解 求 出 来 ， 并 求 出 其 相应 的 目标 函数 值 ， 相 互 比较 ， 即 可 求 得 其 中 相应 目标 函数 的 最 
优 解 ,但 是 ， 当 线性 规划 问题 的 阶 数 m 与 维 数 很 小 时 是 可 行 的 ; 当 m,n 较 大 时 ,计算 
入 非常 大 .单纯 形 法 是 一 种 计算 量 较 小 的 方法 . 

单纯 形 法 是 一 种 迁 代 算法 ， 其 基本 思想 和 主要 步 又 是 : 首先 设法 找到 一 个 (初始 ) 基 可 
行 解 ,然后 理 和 根据 最 优 性 理论 判断 这 个 基 可 行 解 是 否 为 最 优 解 . 若是 最 优 艇 ， 则 输出 结果 ， 
计算 停 正 ; 若 不 是 最 优 解 ， 则 设法 由 当 
前 的 基 可 行 解 产生 一 个 目标 值 更 优 的 新 
的 基 可 行 解 ， 再 利用 最 优 性 理论 对 所 得 
的 新 基 可 行 解 进行 判断 ， 看 其 是 否 为 最 
优 解 ,这样 就 构成 一 个 选 代 算法 . 由 于 
基 可 行 解 只 有 有 限 个 , 而 每 次 目标 值 都 
有 所 改进 因而 必 可 在 有 限 步 内 终止 
如 果 原 问题 确 有 最 优 解 ， 必 可 在 有 限 步 
内 达到 ; 车 原 问题 无 最 优 解 ， 也 可 根据 
最 优 解 理论 及 时 发 班 ,停止 计算 ， 避免 
错误 及 无 效 运算 . 

单纯 形 法 的 主要 步 莫 流程 如 图 2.2. 


2.3.2 初始 基 可 行 解 
单纯 形 法 的 出 发 点 是 具有 如 下 特殊 形式 的 约束 方程 给 的 标准 线性 规划 ， 


min ZZ = crit cxat + crns 


St Ti aymriTntt tt "+ amrn = bl1, 


X21+ 好 2 mtiTmti + "+ a2rTn = ba, 


还 出 十 Gm,m+iTmr+rl 十 中 Ummitn 一 [i 
Iz; 之 += 1,2,." ,1 
bi0, = 1,2,., pt, 


部 其 系数 矩阵 A 可 表示 为 


态 二 (I, N). 
可 选择 该 单位 矩阵 了 作为 初始 基 Bo( 以 单位 矩阵 构成 的 基 称 为 该 问题 的 标准 基 ), 则 可 以 得 
到 对 应 的 箱 始 基 可 行 解 为 


文人 7 三 {61, d2, bm 0, ,0)7. 
2.3.3 最 优 性 准则 
2.3.3.1 目标 函数 的 非 若 变量 表 这 式 


设 何 题 为 
min ZZ= ex (2.3.1) 
st， ax 一旦, 六 六 用 《2.3.2) 
| {2.3.3) 


不 失 一 般 性 , 设 4= (站 , N)， 其 中 吾 是 基 ， 相 应 地 ， 设 基 变量 构成 的 向 量 为 xp， 非 基 
变量 构成 的 向 量 为 xw, 价格 向 量 c 中 ， 基 变量 向 基 xs 对 应 的 价格 奖 量 为 oa， 非 基 变 量 向 
量 x 对 应 的 价格 向 基 为 sw， 即 


B = (Pi, Py,", Pn), 

N = (P+ Pts -**, P, ), 
XB 一 (x1, 72 7, Tm), 

XN = (Tmt dns 
ep = (eis C2 "sy Cn) 


PN 三 {cnris Cats cn). 


则 原 问 题 可 表示 为 
min 2 = CBEB + CNXN, (2.3.1) 
st. Bxrsp+ Nrxw = b, (C2,3.2) 
xn 让 和 0, xn 站 (2.3.3) 
因此 
xzB = Bb — BB-!Ney. (2.3.4) 


任职 一 个 可 行 解 x*， 必 满足 (2.3.2)， 则 其 对 应 的 目标 函数 值 为 
Z = Cr = thrB + NEN 

一 《Bf — B iNxw) + cnxw 

= epB lbh+ (en cph !N)xy,. 
记 Zo= eaB -ib. 《2.3.5) 
同时 , 注意 到 cew,N,xn 的 表达 式 ， 有 

en~ csB N=(c%,+1— cpB lp, cnr epB Ps,42, sc, — cpB -lb,) 
= (gn+1: Fm+2, "Tn). 
其 中 
o = 0- taB iPp, j= m+1,.%,n, (2.3.6) 

于 是 有 有 


Z = Zo + 《mt1y ma tn Tmt Tm ts ‘ra 


2 人 


pr 、， 下 Er er 目 一 - 区， 
pt Ter bua [el Pe 国 


= Zot+ 2 gj). | (2.3.7) 
以 后 将 (2.3.6) 所 示 的 o; 称 为 可 行 解 x 所 对 应 的 检验 数 ( 判 别 数 )， 央 为 将 用 它 来 检验 当前 
的 基 可 行 解 x 是 否 为 量 优 解 ， 
2.3.3.2 量 优 解 判 定 定理 
定理 2.13 设 B 是 线性 规划 (2.3.1) 一 (2.3.37 的 基 
bp = Bib= (hb, bm) 0, 
x 匀 是 与 B 对 应 的 基本 行 解 ， 即 
x = bb 2 bm Oo OT 
如 时 x 所 有 的 检验 数 g; 宇 0， 则 x 中 是 最 优 解 . 
证 明 由 (2.3.7), x 对 应 的 目标 晤 数值 为 
ZO0) 一 ext = Zo. 
现任 取 一 个 可 行 解 x， 则 由 (2.3.7)， 其 对 应 目标 值 为 
了 = ez = Zot Do 之 2Z0 = 20， 
表明 ，x 是 最 优 解 . 
例 2.7 已 知 线性 规划 为 
min 也 三 zl 二 2 + 了 3 一 2I4s 
s.t. 了 1 一 x21+ rx3+ 6x4 = 9, 
I1 + 3r2+ x3 ~ 274 = 1， 
xl; 了 Ta， TI 六 0 
x 二 (0,3/2,0,7/4)', 试 证 明 x 是 最 优 解 . 
证 明 取 基 B=(P, Pi)， 容易 验证 x 是 与 二 对 应 的 基 可 行 解 . 量 


一 | 6 2 6 
?一 | 3 EE sl: 9 
非 基 变量 zi, rs 对 应 的 检验 数 为 
ol = ci ~ {cca) Blip 
2/16 6|| | _15 
4 


3716 1716 
od3 = cy3— (cy, cs) BP 


ee 


= 3 一 (2， -2)| 


根据 定理 2.13 知 ,x 是 最 优 解 . 
2.3.3.3 无 最 优 解 的 判定 定理 

若 线性 规划 问题 的 可 行 域 无 界 ， 那么 有 可 能 不 存在 最 优 解 ， 显然 ， 在 实际 计算 过 程 中 ， 
应 当 设 法 及 时 判别 原 问 题 是 否 存在 最 优 解 ， 以 名 和 做 无 意义 的 运算 . 下 面 的 定理 将 提供 一 个 
判别 原 问 题 不 存在 最 优 解 的 充分 条 件 ， 1 

定理 2.14 设 B 是 线性 规划 问题 (2.3.1) (2.3.3) 的 基 , 若 存在 检验 数 s, ,<0， 且 
对 应 的 列 向 量 满 足 Pi: ,= 下- P+ ,所 则 原 问题 不 存在 最 优 解 . 


定期 ”构造 一 个 王 维 向 基 xt)， 其 基 变 量 部 分 为 
x = Bib ~ Bip,,,; 
其 非 基 向 量 部 分 为 
: x = (0, 00,4,0,.,0)T. 
其 中 ,4 是 非 基 变量 xX, ;, ,的 取 值 . 


由 于 已 稳 
Bib>0, BiP,r SS 0, 
所 以 对 任 装 的 正 数 4， 有 
x 宇和 0， 
且 Ax Bx) + NrN = BC(B-1b -AB 1P,:,) + NzN). 


注意 到 
xz 他 一 (Pi +s Pt2s yy P.)(0, = 0, a,0,.,0)7T = AP 
于 是 有 总 0) 一片 一 人 本 AP +r=b. 
所 以 x 是 可 行 解 ， 且 其 对 应 的 目标 函数 信 为 
ZH = er = Zo + >) oi = Zo + MGm+r， 


当 1 一 + co 时 ， 有 24 必 一 - oo， 表 明 原 问题 不 存在 最 优 解 . 
2.3.4 基 可 行 解 的 选 代 与 改进 


2.3.4.1 新 的 项 可 行 解 的 产生 


设 线性 规划 的 约束 方程 组 的 系数 矩阵 为 
A = (I,N), 
取 基 为 Bo=1={Pi, P;,…, P,,), 
则 其 对 应 的 基 可 行 解 为 


x 一 【总 0 人 0)T， 
显然 用 4 的 列 向 量 PP; + ,替换 首 中 的 列 向 量 p,， 所 得 的 新 给 人 阵 为 
县 = (Pi, Pa,*™*, Pris Pyrres Prris **, Pm), 

如 果 B81 仍然 是 非 洛 异 抵 阵 ， 则 Bi 可 取 为 新 的 基 . 这 里 ， 称 P, , ,为 入 基 向 量 ，Pi 为 出 基 
向 量 ， 对 应 地 ， 称 zw+ ,为 入 基 变量 ，zi 为 出 基 变量 . 

入 菇 变量 和 出 基 恋 景 的 选择 必须 保证 : 

{1) 替换 后 所 得 的 矩阵 是 非 奇 异 的 ， 

(2) 对 度 的 基本 解 是 可 行 解 ， 

原 线 性 规划 问题 的 约束 方程 组 见 表 2.2. 

显然 ， 只 要 a m+ 天 0， 则 向 量 组 PP 下- Pir1,…, Ps, Pn + 必定 线性 无 关 ， 
可 构成 新 的 基 B1. 为 求 得 新 基 B81 所 对 应 的 基本 解 x', 可 利用 关于 行 的 初等 变换 将 身 量 
Pt ,化 为 单位 向 量 e (即使 得 第 mr + 列 的 第 个 元 素 化 为 1， 而 这 列 的 其 余 元 素 均 为 0)， 
局 时 表 2.2 化 为 表 2.3， 


TEFS 


“0 * 


二 一 一 


工 1 1 
1 0 
0 1 
必 D 
0 0 a ， 


由 表 2.3 可 知 , 基 B| 对 应 的 基本 解 x 中 为 
T= bi， 当 j 扩 mm, 且 j 关 名 
xd), 三 b'i, 
zl = 0， 对 其 余 的 j. 
为 使 x 成 为 可 行 解 ， 必须 使 所 有 的 57 成 为 非 负 数 . 
先 研究 表 2.2 和 表 2.3 中 数据 的 根 互 关系 . 显然 , 表 2.3 中 
a 三 a di mts 
b= bl a mt 


注意 到 bi >0, 欲 使 bi >0, 必须 有 A mtr ~>0, 其 次 ， 当 i 关 ! 时 ， 有 


六 
r _ ” _ in? 
a = a Atm t+ ay = aj — a mt 
br 
A 人 
b ; 一 bi(— ai mi+t + ob: = b; 一 ,net 
A mt 


令 b, 宇 0, 则 有 
bi 二 bi 
HL mt 他 mtr 


所 以 ， 主 元 紊 ,w+ 的 行 下 标 ! 应 满足 


br ， | ) 
= | Di, 2.3.8 
dl mts mn Qi mrt Ui, mt+t > ( ) 


按 (2.3.8) 确 定 主 元 at w+: 所 在 行 的 方法 称 为 2 准则， 
2.3.4.2 基 可 行 解 的 改进 
首先 , 给 出 如 下 的 命题 ， 
命题 若 检 验 数 :<0,， 那 么 ,按照 (2.3.8) 选 取 主 元 a, w+ 并 进行 换 基 类 代 后 所 


» 当 Ei, m+ >0. 


得 到 的 新 的 基 可 行 解 x' 优 于 原来 的 可 行 解 x 中， 
证 明 ”x 人 所 对 应 的 目标 函数 值 为 
ex = Zt bpm < Zo = ex. 
| 此 命题 表明， 只 要 选取 负 检 验 数 对 应 的 变量 为 入 基 恋 景 ,并 对 该 列 元 素 按 (2.3.8) 所 示 的 8 
准则 确定 主 元 ， 再 进行 换 基 选 代 ， 则 必 可 得 到 一 个 优 于 原 基 可 行 解 的 新 的 基 可 行 解 . 


2.3.5 单 旨 形 表 及 其 计算 步骤 


| 在 前 面 ， 利 用 当前 基 的 道 矩 阵 计 算出 对 应 的 基 可 行 解 及 检验 数 . 现在 ,介绍 利用 霄 格 ， 
即 单纯 形 表 来 计算 基 可 行 解 和 检验 数 的 方法 . 


设 问 题 为 
min ZZ= er, 
| St- 4x = b,b >, 
x 守 0, 
记 A={B,N). 
| 其 中 ,8B 是 当前 的 基 . 同时 ， 且 标 改 写 为 
-Zt+texr=0, (2.3.90) 
将 Z 视 为 由 向 其 x 所 决定 的 变量 则 原 问 题 的 不 始 数 据 见 表 2.4. 
训 2.4 
| 2 XB FN pb 
0 B N b 


六 2.4 的 中 闻 部 分 为 约束 方程 组 的 系数 , 下 面 一 行为 目标 行 (2.3.9) 的 有 关 数 据 . 对 表 
2.4 的 数据 施行 关于 行 的 初等 变换 ， 则 可 化 为 表 2.5. 
囊 2.5 


在 表 2.5 中 ， 基 变节 所 对 应 的 系数 年 阵 8B 已 化 成 单位 矩阵 I, 上 且 最 下 一 行 中 基 变 量 对 
应 的 价格 系数 向 明 ea 已 化 为 零 向 量 , 这 样 的 表格 称 为 单纯 形 表 . 

单纯 形 表 可 以 提供 丰富 的 信息 ， 下 面 讨论 表 中 各 数据 的 意义 . 

不 失 一 艇 性 , 可 假设 之 这 一 点 可 通过 按 (2.3,8) 挑 选 换 基 达 代 的 主 元 而 实现 ), 那 


么 ， 表 2.5 等 价 于 
xH+ Nxw=b', 
~Z+eNN= FF. 
邻 非 基 变 好 xw =0, 则 有 有 
(” = $b， 
二 = 三 一 了 


表明 , 车 B 是 可 行 基 , 则 的 分 量 是 基 B 所 对 应 的 基 变 县 的 值 , 而 一 则 是 对 应 的 基 可 行 
解 的 目标 函数 倡 ， 


芭 


: 用 EE el Ey Ey re ry 
回国 寻 如 回国 加 国 加 加 着 


"2 


回 和 日 回 娘 旱 加 汶 是 图 图 图 加 图 


下 面 香 着 向 量 ex 的 意义 ,将 表 2.5 与 表 2.4 对 比 ， 可 以 看 出 ， 实 质 上 是 将 表 2.4 的 
中 间 行 ( 即 约 东方 程 组 系数 增产 矩阵 ?的 各 项 同 冬 以 当前 基 8 的 道 矩阵 中 -上 ， 再 将 中 间 行 各 
项 寡 以 -cs 后 加 到 最 后 一 行 上 ， 即 表 2.5 实质 上 是 家 2.6. 


惠 2.6 
Zz :| XN pb 
0 了 县 -上 N Bi! 
-1 vo ev 一 CN 一 em IN 
对 比 表 >2.5， 有 


ev = ev — topBlN, 
即 ey 是 非 基 变量 xw 所 对 应 的 检验 教 向 量 ， 另 外 
b=B!b, 
-7 = cpB!s. 

再 一 次 说 明了 6 代表 莽 变 量 的 取 值 , 而 - 和 由 代表 目标 函数 值 . 

由 上 面 的 分 析 可 知 ， 利 用 单纯 形 表 可 以 很 方便 地 计算 出 基 可 行 解 、 目 标 函 数值 及 检验 
数 ， 因 而 下 以 用 来 求解 线性 规划 问题 . 

注意 到 表 2.4~2.6 中 ,目标 变量 Z 所 在 询 的 数据 始终 没有 发 生 过 变化 ， 为 使 表 中 数 
据 简 明 ， 可 删 去 这 列 . 今后 所 讲 的 单纯 形 表 , 均 不 必 和 包含 Z 询 . 

下 面 介绍 利用 单纯 形 表 求解 线性 规划 的 步 又 : 

(1) 将 线性 规划 标准 化 , 并 使 之 含有 标准 基 ( 即 有 一 个 与 的 率 方程 的 个 数 同 阶 的 单位 
矩阵 ). 

{2) 按 表 2.4 的 形式 填 好 原始 数据 {可 不 填 Z 列 ), 并 化 为 表 2.5 所 示 的 单纯 形 表 . 

(3) 检查 非 基 变 量 所 对 应 的 检验 数 wm. 车 所 有 的 oj 闻 0， 则 当前 的 基 可 行 解 就 是 最 优 
解 ， 计 算 停 止 ; 若 存在 负 检验 数 ， 转 (4) , 

(4) 车 其 个 wm <0, 且 所 对 应 的 列 向 量 P'; 没有 正 分 粳 ， 则 家 明 原 问题 不 存在 最 优 解 ， 
计算 停止 ; 否则 , 转 (5). 

{5) 设 最 小 的 负 检 验 数 为 za。 则 取 x 为 入 基 变量 . 并 在 对 应 的 列 向 基 Pp 和 中 确定 一 个 
正 分 其 ax 为 主 元 , 使 之 满足 

bi ,|e 
ra 

即 表 上 明 原 来 基 中 的 变 綦 x, 退出 基 . 转 (6). 

(6) 以 ea 为 主 元 ， 用 行 的 初等 变换 将 a 化 为 1， 第 列 的 其 余 元 素 ( 包 括 对 应 的 检 
验 数 mm ) 全 部 化 为 零 ， 得 到 新 的 单纯 形 表 ， 转 (3). 

例 2.8 求解 线性 规划 问题 


max ZZ =— 371 -272— Ty+274, 


人 直 > 中 


$.f. 了 1 一 了 Ta 十 474 = 4， 
ZX2 + xX4+ 274 二 9 
zj; 0 j= 1,2,3,4. 
毛 ”将 原 问题 化 为 标准 形式 , 得 


min Z =3rl+27r2+33 一 274， 
St X11 一 2za 十 47z4 三 站， 
X23 二 I3 十 2X4 一 全， 
Ti 0 j= 1,2,3,4. 
其 中 C= ets crt ca) = (3,2,1, ~ 2), 
b=(6b1,62)" = {4,5),, 
-2 0 4 


A=(Pi, Pa,P PJ=|， 
1 有 jp 0 1 1 2 加 


各 中 已 含有 一 个 标准 基 


Bo = (Pi, P3} = 1, 


将 上 述 数据 填 人 数据 表 ， 可 得 表 2.7. 
可 2.7 : 


将 最 


二 


一 行 中 的 3 和 1 用 行 初等 变化 为 0， 可 得 (初始 ) 单 继 形 表 ( 见 表 2.8)， 


对 应 的 基本 行 解 为 


x =《【《4,0,5,0)7, 目标 值 为 17， 
.在 表 2.8 中 ， 存 在 检验 数 
oa=—-16<0,Hamw=4>0am=2>0. 


由 66 规则, 有 


如 4 mn 人生 ,三 | = min[ 总 ,如 | 
ai4 4 三 NN 47 2 一 nN a14” 24 ， 


所 以 ， 应 选 a14 为 主 元 , 并 为 计算 方便 起 见 ， 在 单纯 形 表 ( 见 天 2,8) 中 将 主 元 用 括 刁 括 起 
来 , 接着 进行 换 基 迭代 ， 可 得 新 的 单纯 形 表 ( 见 表 2.9). 
囊 2.9 


对 应 的 可 行 解 为 
x = (0,0,3,1)", 目标 函数 值 为 1. 
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由 表 2. 9 可 看 出 ， 还 存在 检验 数 2 一 一 1 ， 县 系数 年 阵 的 第 2 列 仅 有 一 个 正 元 彭 R72 二 了， 应 
选 为 主 元 ， 继 续 选 代 ， 可 得 表 2.10. 


训 2.10 


在 表 2.10 中 , 检验 数 依次 为 
5l = 15/4, 02 = 0, o3 = 172，c = 0, 
全 部 大 于 或 等 于 零 ， 由 最 忧 解 判别 定理 , 已 达 最 优 解 . 最 优 解 为 
x" = (0,3/2,0,7/4)T. 
最 优 基 为 


4 -2 
B* = (pnp») = |, | 


最 优 值 为 
Z”= -1/2， 


2.4 人 工 变量 单纯 形 法 


只 有 当 存 在 初始 的 标准 基 时 ， 才 能 使 用 单纯 形 法 求解 线性 规划 问题 , 如 果 欲 求解 的 线 
性 规划 不 存在 标准 基 , 就 必须 想 办 法 变换 出 一 个 标准 基 . 但 是 , 在 变换 的 过 程 中 ,应 当 满 
足 : 第 一 , 应 保持 约束 方程 组 的 解 集 不 变 ， 即 原 问题 的 可 行 域 不 变 ， 应当 进 行 同 解 变换 ;第 
二 ， 在 获得 标准 基 的 同时 ， 应 使 约束 方程 组 右边 的 资源 向 量 保持 非 负 ， 这 样 才能 使 用 上 述 
单纯 形 法 求解 .一 般 来 说 , 第 一 点 要求 是 容易 实现 的 ,例如 利用 线性 代数 中 的 初等 变换 就 
可 以 办 到 ,然而 , 要 间 时 满足 这 两 点 要 求 , 采用 常规 的 方法 往往 顾 此 失 和 被 ,很 难 达 到 要 求 . 
因此 ,应 研究 有 效 的 办 法 来 解决 这 个 问题 , 下面 介 绍 两 种 常见 的 方法 . 


2.4.1 大 M 法 [big-M method} 


大 M 法 的 基本 思想 是 ， 如 果 原 问题 标准 化 后 的 约束 方程 中 无 标准 基 ， 则 可 以 在 约束 
方程 中 添加 人 工 变量 (artificial variable)， 使 之 构成 含有 标准 基 的 新 间 题 ,显然 ,在 新 问题 
的 某 个 解 中 ， 如 果 人 工 变量 对 应 的 分 量 是 正 数 ， 则 该 解 必 不 是 原 问题 的 牙 行 解 . 因此 ， 欲 
从 新 问题 的 解 得 到 原 问题 的 解 ， 必须 使 新 问题 的 可 行 解 中 的 人 工 变量 为 零 ,而 莫 达 到 这 一 
点 只 需 使 人 工 变量 全 部 成 为 非 基 变 量 即 可 . 对 极 小 化 问题 ， 可 在 原 目 标 函 上 数 中 加 入 忽 对 值 
充分 大 的 正 系数 人 工 变量 . 这 样 ， 当 对 新 问题 用 单纯 形 法 求解 时 ， 在 新 时 标 函 数 的 值 逐 步 
减 小 的 选 代 过 程 中 ， 人 工 变 基 就 会 逐步 退出 基 . 

设 原 问 题 为 

min ZZ= er, 
St. Ax = Pp, 
者 六 0 


引信 人 工 变量 


三 (Cy, Yass Yr) 
可 得 含有 标准 基 的 大 M 法 新 闻 题 


min 2 = cert RM >) y, 
iml 


Ss.t. AxX+ Iy = 上, 
六,y 六 四. 
其 中 ，M 基 充 分 大 的 正 数 ,， 工 是 mm 阶 单位 矩阵 . 
下 面 讨论 新 间 题 与 原 问题 之 间 的 关系 , 首先 要 指出 ,新 闻 题 必 有 可 行 解 , 例如 x = 0， 
了 = 上 6 就 是 新 问题 的 一 个 可 行 解 . 于 是 ， 对 新 问题 求解 ， 其 结果 有 两 种 可 能 . 
(1) 新 问题 无 最 优 解 
此 时 可 断言 原 问题 无 最 优 解 , 因为 在 此 种 条 件 下 ， 新 加 是 存在 可 行 点 列 (x( yt )， 
使 得 
| 十 Ly = b,x'*) > 0, ye > 0, 


月 PACE = Cx + MY yl 一 一 扣 ， 天 一 + 
注意 到 M 为 充分 大 正 数 ， 故 上 式 表 明 必 有 
(k) = 
GD = 0, 


矶 区 让 ) 二 b, A) > 0, 
即 x 中 是 原 向 题 的 可 行 点 询 ， 且 其 对 应 的 目标 疯 数 信 有 
FH) = or = ZO 00， 此 一 十 om， 
表明 原 问题 设 有 最 优 解 . 
{2) 新 间 题 有 最 以 解 
设 为 (x,y). 则 有 
OD 若 y =0， 则 新 问题 的 忆 标 函数 信 为 cx， 生 易 知 x 是 原 问题 的 一 个 可 行 解 . 现任 取 
原 问 题 的 一 个 可 行 解 x*, 显然 (x ,人 0 是 新 闻 题 的 可 行 解 ， 且 其 对 应 的 目标 函数 值 为 Z = cx， 
于 是 有 
Z = eminZ =2 =er- 2. 
表明 , * 是 原 问 题 的 最 优 解 . 
(2) 车 存在 某 个 5,>>0,， 则 原 问 题 没 有 可 行 解 ， 因 为 此 时 新 间 题 的 最 优 值 为 
2 = ex + My. 
车 原 问 题 存在 可 行 逢 xo， 则 (xo,0) 必 是 新 问题 的 可 行 解 ， 对 应 的 目标 值 为 Zr = exo, 于 是 有 
ex + My; = 2 SAI = cxo. 
由 于 3y; >0，M 为 充分 大 的 正 数 ， 上 式 显然 不 可 能 成 立 . 所 以 原 问 题 没 有 可 行 解 . 
例 2.9 用 大 M 法 求解 线性 规划 
min 2Z=~ x 一 了 — 371+ x4s 
s,t, XT1 十 2X7 十 x3 = 13, 
271 十 Xx2 + S73 = 20, 
Xi+27x2+ zx3+ rx, = 10, 
Xi = 1,2,3,4. 
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Lo 二 上- i 4 
图 轿 于 图 图 图 


"号 和 


sh ls EEE ls ll Ll 


hr 


解 引入 两 个 人 工 变量 ya, y3， 以 及 充分 大 的 正 数 M， 原 问题 化 为 如 下 新 问题 


min 2 =- xXx1~2r2 -3r3t+ rai My + My;, 
gt. Alt+2X2+4 十 工 4 = 10, 
XL + 272 + 3r3+ ?2 = 15, 
221 十 X22+ 5xy+ y3 = 20， 


T0234 
此 时 , 已 拥有 一 个 标准 基 ,， 疝 用 单纯 形 法 求解 ， 其 计算 过 程 及 结果 见 表 2,11， 
在 表 2.11 中 ， 人 工 变量 y,, y; 全 部 出 基 , 故 原 各 题 的 最 优 解 及 最 优 值 为 


*_ (3335 3 0)T 
证 =-《23， 习 ,了 ,0) ， 


Z” =- 了 ”=-(15) = 一 15. 


囊 2.11 
| | TT wT 
33 Y3 
初 0 1 站 i0 
妈 1 人 15 
囊 
I 0 1 20 
0 | 0 - 10-35M 
选 和 一 ES 6 
代 1 一 375 3 
和 | 175 4 
0 {BM + 4}/5 一 3 卫 ++ 恒 
选 -7 417 1$/7 
和 伐 S/7 一 377 1577 
表 -Jr 277 25/7 
3 二 
(TM +16777 {IM -47 十 六 
一 372 273 572 
昌 172 一 173 572 
已 
表 172 0 SA2 


例 2.10 用 大 M 法 求解 
mn 2 =-27r1- x2 
Stf， TI 十 Xi 站 5, 
TI+ Ts 3， 


Xl 闻 0,xzy 六 0. 


显然 ,本 问题 的 可 行 域 是 空 集 , 桶 据 有 关 庆 M 法 新 模型 的 讨论 ， 在 大 M 法 新 模型 的 
最 优 解 中 ， 人 工 变量 所 对 应 的 分 量 应 该 是 正 数 , 下 面 通过 用 大 M 法 求解 来 证 实 这 一 点 . 


解 ” 先 将 原 问题 标准 化 ,再 引 人 人 工 变 基 y, 可 得 如 下 的 大 M 法 新 间 题 : 


min ZZ =-271- X27+ My, 
Bt Xit xX2— Ti+ y= 3, 
了 全 十 2 二 z4 = 3, 
EE Ta Ty 
其 计算 过 程 及 结果 更 表 2.12. 
从 囊 2,12 的 最 优 表 可 知 ， 在 大 M 法 新 问题 的 最 优 解 中 ， 人 工 变 量 ? 的 值 是 正 数 2， 
证 实 了 原 问 题 没有 可 行 解 . 


2.4.2 大 阶 缮 单纯 形 法 (two_phase method) 


两 阶段 单纯 形 法 也 是 一 种 人 工 变量 法 , 它 的 算法 可 分 为 两 个 阶段 : 第 一 阶段 ， 引 入 人 
工 变量 , 构 团 一 个 时 有 标准 基 的 新 线性 规划 , 求解 这 个 新 线性 规划 ， 其 结果 将 有 丙种 可 能 ， 
或 者 将 不 河 题 的 约 东 方程 组 化 成 具有 标准 基 的 形式 ， 或 者 提供 信息 ， 表 明 原 问题 没有 可 行 
解 . 第 二 阶 扑 ， 利 用 第 一 阶段 所 得 的 标准 基 ， 对 原 问 题 求解. 
2.4.2.1 头 工 次 业 的 引入 
” 设 原 向 是 为 


“py 2 .Tt, 


其 中 ， 3 三 = (9, . 
田 知 ， 新 规划 (Lys ep . 
(D《LP) 存在 村 和 解 ， 种 夭 联 立 吉 各 二 二 该 得 到 一 个 可 行 解 


所 


界 ， 不 会 小 于 等. 

(3)【 了 iD)2 套 在 一 个 标准 苍 :- 

基于 世 土 几 点 ， 可 以 开间 线 慰 按 索 着 (LPp)i; 设 其 最 优 单纯 形 法 为 表 2. 13. 表 2.13 中 ， 
oy 时 人 工 变量 y 对 应 的 检验 致 ， 必 * 基 人 工 变 量 y 的 系数 . 


回国 回回 时 网 因 加 加 回回 妈 加 有 加 加 上 而 罚 四 加 回回 娘 回 


显然 ， 所 有 的 检验 数 cv， 都 非 负 ,和 且 由 于 - ?是 最 优 值 ， 故 必 有 
?7 所 0. 
若 4" <0, 则 可 断言 原 问题 (LP)i 没有 可 行 解 . 因为 假如 (ILP): 有 可 行 解 工 则 有 
Ax = b,x 2 0, 
那么 ,0,x) 则 是 (ILP), 的 一 个 可 行 解 ， 且 对 应 的 自 标 值 为 


而 =0 守 -7'， 
这 与 假设 相 矛 盾 . 
表 2.13 
3 ym | 工 也 
A d' 1m a "11 在 1 五 1 
dl om Ql fm 下 
dyl Uy | 他 7»” 
例 2.11 求解 线性 规划 问题 : 
min 2 =- 3xt + 2742, 
st XIi+ ITz 雪 1 


271+ 37x2 字 6, 
Tl 半 0,72 宇 0. 
将 原 问 题 标 准 化 ,再 引入 人 工 变量 y， 构造 新 规划 ， 
min We= 3 
8.t, Xl+ XT2+ = 二， 
y 十 271 十 373 — x4 = 6, 
3 之 0 T1121 TI TIT4 沁 0. 
其 求解 过 程 及 结果 见 表 2.14. 
家 2.14 


由 表 2.14 可 以 看 出 , xy" = -3<0 ,表明 原 问题 无 可 行 解 , 事实 上 ， 容易 验证 ， 当 zi， 
za 均 非 负 时 ， 原 问 题 和 的 两 个 不 等 式 约 束 是 互 不 相 容 的 . 

车? ”= 小 注意 目标 函数 的 表达 式 , 可 知 必 有 yw 全 为 0， 可 分 丙种 情形 讨论 . 

(1) 人 工 变量 w 全 部 是 非 基 变量 , 不 失 一 般 性 , 可 设 ri, rz,…, zw 是 基 变 嫩 ， 则 
表 2,13 等 价 于 方程 组 


= 上 2 
Tl+a l,mt+iTm+1 + Ta 1. ma = pb 13 


- +- a 
T2 aymtiTatit "an 二 $2 


Tm 在 mL a mT = 
对 线性 规划 的 可 行 域 而 言 ， 单纯 形 法 实质 上 是 进行 同 解 变换 , 因而 上 述 方程 组 与 原 问 
题 (LP)i 的 约束 方程 组 的 解 集 相同 ， 其 由 于 已 有 一 个 标准 基 ， 故 可 用 它 取 代 原 问题 JP) 
的 约束 方程 组 ,再 利用 .上 上 节 的 单纯 形 法 求解 ， 
(2) 某 个 人 工 变量 y, 还 基 革 变节. 这 时 ， 显 然 有 
b', = y, = 0. 
表 2.13 中 第 * 行 等 价 于 方程 


yd + Dt = b= 人 0. (2.4.1) 
对 (2.4.1) 可 分 两 种 情形 进行 讨论 : 
OD (2.4.1) 中 所 有 的 a jy 均 为 等 , 注意 到 所 有 的 w 都 为 雷 . (2.4.1) 实 际 上 是 异 等 式 
0 = 0， 
说 明 表 2.13 的 第 ; 行 是 和 多余 的 、 无 意义 的 ， 应 从 表 2.13 中 删除 , 约 这 方程 减 为 mx ~ 1 个， 
最 优 表 中 出 现 一 个 mr 一 1 阶 的 单位 矩阵 ,正好 可 作为 初始 标准 基 . 
加 (2,4.1) 中 的 ay 不 全 为 零 ， 例 如 基 个 as 非 零 . 则 可 用 ,ss 为 主 元 ， 进 行 换 基 迁 代 ， 
变量 x 入 基 , 而 人 工 变量 y, 出 基 . 由 于 有 
6 = 0. 
此 时 将 产生 一 个 退化 的 基 可 行 解 . 
2.4,2.2 两 阶段 单纯 形 法 的 步 又 
(1) 第 一 阶段 ,首先 将 床 问 题 标准 化 ,得 到 (LP) 形式 , 再 引入 必要 的 人 工 变 晤 y,, 松 
造 新 的 线性 规划 (LP)， 并 用 单纯 形 法 解 新 规划 (ELP): ， 得 到 形 如 表 2.13 的 最 优 单纯 形 
表 . 车 该 表 中 w" <0, 表明 原 问题 没有 可 行 解 ， 应 停止 计算 ; 若 %»* =0 表明 已 将 原 问题 的 
约束 方程 组 变换 成 了 含有 标准 基 的 同 解 方程 组 ， 转 (2) . 
(2) 第 二 阶段 ,用 第 一 阶段 所 含 让 标准 基 的 约束 方程 组 取代 原 问题 的 的 东方 程 组 ， 再 
用 单纯 形 法 求解 ， 
例 2.12 试用 两 阶段 单纯 形 法 求解 ; 
min Z= 11- rx2+ 3r;, 
Ss. 2T1+ Xz = 二， 
1.37i+ Xzt+ x3= 了， 
X00 j= 1,2,3. 
解 ”第 一 阶段 ， 由 于 诛 税 征 只 有 两 个 约束 ， 且 系数 矩阵 又 有 一 个 单位 向 景 , 故 只 各 再 
引入 一 个 人 工 变 看 y 就 可 获得 单位 矩阵 ,构造 新 规划 如 下 : 
min We= y, 
St， y+271+ i> = 4， 
1,Sr1t+ xa+ x3 二 了， 
y 守 0,7 守 0， j= 1,2,3， 


国 妇 图 罗 名 回回 


本 阶 回 的 计算 过 程 及 结果 见 表 2.15, 在 表 2.,15 中 , ww" =0 ， 人 工 变 基 为 非 基 变量 ， 原 问题 
已 得 到 标准 基 ({ zi zx3). 
囊 2.15 


第 二 阶段 ， 去 掉 第 一 阶段 结果 中 的 人 工 变 量 >， 剩 余部 分 用 以 符 换 原 癌 题 的 约 审 方程 
组 ， 则 可 得 原 问题 的 等 价 形式 为 


min ZZ = TI1- Xi+ 3r3, 
St, Tl1+0.5r2 二 22， 
0.25z2 + 7x3 = 4, 
Ti0, j= 1,2,3. 
用 单纯 形 法 求解 ， 其 过 程 及 结果 见 表 2.16. 由 表 ?2.16 可 以 知道 ， 原 问题 的 最 优 解 为 
x = (0,4,3)7, 


ef 
WE 


a ™ i 中 本 a - 1 [Ee 
BEL EE ET :EI 


最 优 代 为 二 = 一 {一 5)=5， 
圳 2.16 
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例 2.13 求解 线性 规划 


max =- TI1+ 7 — 3ry, 
Bs.t. 47T1 + 272 二 8， 
2 工 | + Iz = 4， 


1.3zi 十 zx2+ I3 = 7, 
Tj0, j= 1,2,3. 
注意 前 两 个 约束 实际 是 同一 约束 ， 试 观察 多 余 约束 是 如 何在 选 代 计算 过程 中 被 除去 的 ， 
引入 人 工 变量 yi, y2， 构造 新 规划 为 


.0 .| 


mn We=yt+y2, 
s.t, 31 十 471 + 2x2 <= 8, 
yz+2x1+ x2 = 4, 
1 .SI 十 Xx2+ xa=7. 
其 计算 过 程 及 结果 见 表 2.17. 在 表 2.17 中 ,? ”=0 ， 且 行 中 ，zi 的 系数 以 及 b's 全 为 零 ， 
故 原 问题 的 约 东 方程 组 等 价 于 ， 
X11 十 上 .Sr2 = 2， 
| 0.25r2 + x3 = 4. 
与 例 2.12 第 一 阶段 的 最 后 结果 完全 相同 . 转 入 第 二 阶段 后 ， 其 过 程 与 结果 也 应 与 表 2.16 


上 1 必 愉 LH 
了 1 3 x! EE EE 
1 0 C4) 2 0 
人 1 2 1 0 
心 站 t.5 1 1 
.253 0 1 0.5 0 
一 自 .5 愉 愉 0 
一 站 ,374 和 站 0.25 1 
1.5 办 0 心 0 


2.5 改进 单纯 形 法 


从 前 面 的 介绍 可 以 看 出 ,求解 线性 规划 的 单纯 形 算法 中 ， 关 键 是 寻找 当前 的 可 行 基 吾 
的 道 矩 阵 B-'. 如 果 已 得 到 中 1， 就 可 以 计算 出 当前 基 B 对 应 的 基 可 行 解 ， 即 
xB 一 Bib,xn = 0, 了 -1 六 让， 
且 可 以 计算 出 对 应 的 检验 数 
可 = ec- tpB Pp, j= 1,2,.%,n. 
其 而 可 以 检验 当前 的 基 可 行 解 是 人 知 为 最 优 解 , 如 果 不 是 最 优 ， 则 需 寻 找 下 一 个 基 可 行 解 ， 
其 关键 仍 是 寻找 下 一 个 可 行 基 B 的 道 瑟 -!. 在 2.3 节 中 , 通过 确定 人 基 变 量 和 出 基 变 量 米 
确定 新 基 中， 然后 对 整个 单纯 形 表 和 必 关 于 行 的 初等 变换 而 得 到 B“!. 这 一 过 程 本 质 上 是 通 
过 上 B 求 和 !， 其 工作 量 是 很 大 的 . 而 且 ， 在 求 道 过 程 中 , 非 基 向量 的 数据 也 要 全 部 重新 计 
算 并 将 新 数据 贮存 起 来 ， 以 备 下 一 次 先 代 使 用 . 实际 上 ， 关 键 是 确定 哪些 变量 为 基 变 量 ， 
然后 利用 原始 数据 P; 就 可 以 计算 出 检验 数 ， 确 定 出 基 变 量 和 人 基 变 量 . 因此 , 可 由 当前 的 
可 行 基 的 逆 B ! 直 接 求 出 新 的 癌 行 基 8B 的 道 托 阵 毒 -!. 


2.5.1 8B ! 与 BB ! 的 关系 
设 当 前 可 行 基 为 


回 图 轩 如 于 图 


注 


吕 轿 国贸 国 司 轩 同 章 四 基因 里 年 训 半 目 加 阔 国 固 量 图 加 于 


B = (Pi, P2,*, Pa), 

新 的 可 行 基 为 呈 . 出 于 县 与 下 只 相差 一 个 列 各 量 ， 不 失 一 般 性 ， 可 设 x,(1 之 mm} 为 出 基 变 
量 ，zx( 二 > 天 ) 为 人 基 变 量 ， 邯 

B = (Pi,P2,", Ps, Pe, Pers "*, Pr), 
注意 到 

I=B'B= BP,,-.…,P,) = (BP,-…,B !P,), 
所 以 有 -1LP,=ei， EE 二],2,, pn , 
其 中 ，e; 是 mm 维 单位 向 量 , 其 第 i 分 量 为 1， 其余 分 量 为 0， 因此 
BiB = BP Ps, Pi, Pivss ,Pm) = (e017, e111 BlPs, en, ,6 ). 

若 记 y=B 1P;, 则 有 


B-'B 三 《el …，61-1， ?err1，…，eni ) (2.5.1) 
由 于 &; 均 为 单位 向 量 , 必 有 z 
(B- 1B) ! 三 《ed 《2.5.2) 


其 中 ,=({faiyaa ya )I， 有 
一 vf Ws 5 天 [A 


yw, i=1. (2.5.3) 
其 中 ,，%w; 是 + 的 分 量 ， 
记 M=(B8 18)-!, 
则 M 很 容易 由 (2.5.2) 和 和 (2,5,3) 算 出 ,， 且 有 
M=B'B, 
赦 Bl!=MB-!. (2.5.4) 


由 于 通常 取 初 始 可 行 基 为 单位 矩阵 I， 国 而 很 容易 算出 新 的 可 行 基 的 逆 和 矩阵 BB -1. 
2.5.2 改进 单 绅 形 法 的 算法 步 邓 


本 算法 是 针对 具有 初始 标准 基 的 标准 形式 的 线性 规划 而 设计 的 ， 若 所 讨论 的 问题 没有 
初始 标准 基 ,， 可 引入 人 工 变 基 ， 按 上 节 的 办 法 构造 出 含 初始 标准 基 的 新 规划 ， 再 利用 本 算 
法 求解 ,改进 单纯 形 法 的 步 对 如 下 . 

设 初始 标准 基 为 


(1) 令 B 1!=1I,xs=b. 
《2) 计算 单纯 形 鳞 子 mw = cepB -1 对 j=1,2,3,…,n,j 关 i， 计算 检验 数 
gj 二 中 一 四， 
车 所 有 s 实 0, 德 止 计算 ,此 时 已 得 最 优 解 +， 其 分 最 为 
Xs 一 b;, i= 1,2,., m1, 
x =0, i 
当 出 现 负 检验 数 oa.(& 关 4) 时 , 转 (3). 


(3) 计算 :v= 8 'Pi. 著 y 元 正 分 晤 ,表明 原 问 题 无 最 优 解 ， 和 停止 计算 ; 若 v 有 正 分 
量 , 表明 x; 是 入 基 变量 ， 转 (4)， 


(4) 计算 xg 与 "的 对 应 正 分 量 的 比值 ， 记 最 小 比值 者 所 对 应 的 下 标 为 i， 里 换 匡 向 晤 
序号 ; 


tr 一 是 ， 
(5) 按 ( 人 .5.2) 和 (2.5.3) 计 算 矩 阵 Mf， 
(6) 邻 B 1= MB "i,xp= Mrxa, 转 (2)， 


2.5.3 改进 单纯 形 法 的 特点 


在 单纯 形 法 中 ， 新 的 单纯 形 表 是 由 上 一 个 单纯 形 表 迷 代 和 而 来 的 ,因而 必须 将 每 次 妈 代 
上 及 得 到 的 单纯 形 表 都 贮存 起 来 ， 以 供 计 算 下 一 个 单纯 形 表 , 而 在 本 算法 中 ,每 次 计算 是 很 
据 原始 数据 进行 的 ， 因而 只 和 需 沪 存 原始 数据 就 可 以 了 ， 大大 节省 了 计算 机 的 凡 存 上 . 其 次 ， 
普通 单纯 形 法 每 次 均 雷 对 整个 单纯 形 表 的 每 个 列 向 量 进行 计算 , 而 本 算法 每 次 只 处 理 非 基 
变量 的 检验 数 及 一 个 列 向 量 { 人 基 向 量 )， 计 算 量 相对 较 少 ， 

综 上 所 述 ， 可 知 本 算法 特别 适用 于 大 型 线性 规划 的 求解 . 

例 2.14 用 改进 单纯 带 法 求解 ， 


min ZZ =- 67x1i+27; ~ 37r;, 
Ss.t. 2 一 了 2 十 273+ 工 4 一 2， 
工 1 十 x3 十 xs = 4, 


Ti 这 0 1 = ,2,3,4,5., 


2 -1210 
1 040 1 
b= (2,4) ,ec = (— 6,2, -3,0,0). 
(1) 第 一 次 选 代 : 
B=(Ps, Ps)=1,B +!=1, 即 
ft1 = 4,t2 = ,ca = (ca cs) = (0,0), 
xB = (tx = b = (2,4), 
w = epB- = (0,0), 
且 m=cl-oPpi= -6<0,k=1,Pl 入 基 ， 
r= BP = (2,1)", 


起 = {Pi, P;, P3, Pa, Ps) = 


minj zr / vis xi v2l = min}2/2,4/1! = x dvi 
表明 , z, 即 z4 出 基 . 改 记 
ti 二 1， 
m= | 17 vi 中 -= | 1/2 中 |， 
— vaf vl -1/2 ] 
BB! MB = ME = MT， 


-和 全 


—1/2 1 3 
(2) 第 二 次 达 代 (t=1, 12=5): 


轿 辆 六 团 四 四 荆 因 国 一 本 用 田 到 


EEEEELEE: 


1/2 0 


_112 | = (- 3,0), 


和 一 coh ! = 《ciy ca)B-! = (-6.0)| 


og2 = cz - {aP» =2-(-30 = 一 1<0,xrs* 人 基 ，, 
pi do 
y 只 有 一 个 正 分 量 y2, 故 xz, ( 即 xz;) 出 基 ， 


t2 过 2， 
m=| |- | 
0 To 0 2 


加 mt 11 | 1/2 "|| 0 1 
0 22 1 1 2 


oe 


(3) 第 三 次 送 代 (t==1, 12=2): 
0 1 
_ 中 - (— 2, — 2), 
oa = cs~ WPy=-3-(-2,-2)(2,4:=9>1, 
gs = cy- 一 up =0-(-2,-2)(1,07T=2»>0, 
ss = cs- @Ps = 0-(-2, 一 2)0.1 =2>0, 
所 有 检验 数 都 非 负 ， 已 达 最 优 ， 则 最 优 解 为 


x = (4,6,0,0,0)7, 
苔 优 值 为 互 = epxa= -12. 


wm 一 gbB- = (cl,c2)B = 6.2)| 


2.6 对 偶 问 题 


每 一 个 线性 规划 问题 , 都 有 一 个 被 称 为 对 偶 的 线 福 规划 问题 与 之 相对 应 ,两 者 之 间 有 
密切 的 联系 , 因为 它们 可 以 看 作对 同一 个 问题 从 不 同和 角度 所 进行 的 分 析 和 研究 ,它们 是 根 
据 同 样 的 条 件 和 数据 构成 的 两 个 不 同 的 问题 . 一 个 是 求 目标 函数 的 最 小 值 . 另 一 -个 是 求 目标 
削 数 的 最 大 值 ,它们 之 间 存 在 车 内 在 的 关系 ， 


2.6.1 对 偶 问 是 的 表达 


线性 规划 中 的 对 惕 可 以 概括 为 三 种 形式 . 
(1) 对 区 形式 的 对 个 

对 称 形式 的 对 侦 定 义 如 下 ， 

原 和 何 题 (ptimal problem): 


mn ecx, 
st， A#Ax > 上 ， (2.6.1) 


其 对 侦 问 题 {dual problemy) : 


inax 避 和 ， 
Sst, OA es (2.6.2) 


wD 0， 
其 中 ,4 一 (有 1， sy P,) 是 mn 矩阵 ,5 = th, sy bm}! 是 mm 维 列 向 量 , c 一 【el "yy ca) 是 
n 维 行 向 量 .x = (zx1,…, xn)' 是 由 原 问 题 的 变量 组 成 的 n 维 列 向 最 , w= 《wi,…, www) 是 
由 对 偶 问 题 的 变量 组 成 的 mm 维 行 向 重 ， 


在 原 问 题 (2.6. 巧 中 , 目标 函数 是 * 与 x 的 内 积 ， Ax 之 5 包 售 mn 个 不 等 式 约束 , 其 中 每 
个 约束 条 件 记 作 


A 2 bi, 
其 中 , A; 是 4 的 第 i 行 .变量 x; 有 非 负 限 制 . 
在 对 惕 问题 (2.6.2) 中 ,目标 消 数 是 上 与 & 的 内 积 , mA 所 包含 个 不 等 式 约束 ,每 个 
约束 条 件 记 作 
Wp; ST ci， 
对 俑 变量 mi 也 有 非 负 限制 ， 
根据 对 称 对 偶 的 定义 , 原 问 题 中 约束 条 件 4zx 六 的 个 数 , 恰好 等 隆 对 偶 变 量 的 个 数 ， 
原 问题 中 变量 的 个 数 ,恰好 等 于 对 偶 问 题 中 约束 条 件 的 wpj 志 cj 的 个 数 . 
按照 上 述 定 义 ,很 容易 写 出 一 个 线性 规划 问题 的 对 偶 问 题 - 
例 2,15 设 原 问 题 是 
mn 工 1 一 工 2， 
s.t, Xi1t+ x2 2 5, 
Tl1 -2x2 之 1， 
xi， x2 0, 
那么 ,上 述 问 题 的 对 个 问题 就 是 
max Sw 十 ws, 
St ml 十 wl1, 
ol 2w2 1， 
ai， wz 0, 


{2) 非 对 称 形 式 的 对 侦 


考 虚 共 有 等 式 约束 的 线性 规划 和 问题， 
min ex, , 
s.t. Ar = 下， (2.6,3) 
x 守 0. 
为 了 利用 对 称 对 偶 的 定义 给 出 (2.6.3) 的 对 侦 问 题 , 先 把 (2.6.3) 写 成 等 价 形 式 : 
Tn eX, 
s.t, Ax = 上， 
一 此 YY 一 省， 
x 之 小. 


加 


加 图 回国 回国 国 轩 四 转圈 下沙 和 团丁 着 西 园区 主 醒 国 四 国 


“#6 * 


TERE 
OO 


晶 ni CY, 
页 p 
s.t > |， {2.6.4) 
一 点 —b 
x 0 


根据 对 称 对 侦 的 定义 ,(2.6.4) 的 对 偶 问 题 是 
max Ww 一 证 ， 
s.t， WHA 一 V4 所 e， 
下 ，Yy 2 和， 
令 四 =-Y, 显然 四 没有 非 负 限 制 ,于 是 得 
max wb, 
s,t. 和 和 帮 ， 
定义 (2.6.5) 为 (2.6.3) 的 对 侦 问 题 , (2,65,3) 和 (2.6.5) 构 成 的 对 侦 与 对 称 对 侦 不 同 , 前 者 原 
问题 中 有 mm 个 等 式 约束 ,而 对 侦 问 题 中 wx 个 变量 无 正 负 号 限制 ,它们 称 为 非 对 称 对 偶 ， 
例 23.16 给 定 原 问 题 : 


(2.6.5) 


min Sr1t+4zr2 + 37r;, 
s.t. 了 十 Tz2+ rs = 4, 
3T1+2x2+ x3= 5 


证 9 + T3 尝 0, 


它 的 对 侦 问 题 是 
max dw + Swz, 
st， wl + 3w2 委 5, 
他 1 十 Zwz 所 4， 
的 1 十 wa S 了， 
ws wz 无 限制 ， 
(3) 一 般 情 形 


实践 中 有 许多 线性 规划 问题 同时 含有 " 守 ", “< 所" 及“ =" 型 约 东 条 件 . 下 面 定义 这 类 线性 
规划 问题 的 对 偶 问 题 . 


设 原 癌 题 是 
min x, 
st 入 Dl， 
YX = b,, {2.6.6) 
A3x < by, 
守旧 . 


其 中 ,4| 是 mw! xn 矩阵 ,4 是 六 Xi 和 皇 阵 ,4 是 mm3X18 和 矩阵 ,pb 和 33 分别 是 m1 
维 , mm 维和 m3 维 列 向 量 , e 是 ” 维 行 向 量 , x 是 维 列 向 量 ， 

现在 ,利用 非 对 称 对 侦 的 表达 式 (2.6.3) 和 :2.6.5) 给 出 (2.6.6) 的 对 偶 , 为 此 先 引 入 松 
弛 变量 , 把 (2.6.6) 写 成 等 价 形式 ，: 


min x, 


St， 成 1 一 x, = 也 1， 
新? = 六 > 
瘟 33 十 Xi 二 ba, 
T,X 0 


其 中 ,x, 是 由 wm] 个 松弛 变量 组 成 的 x| 维 列 向 量 , x, 是 由 mw; 个 稚 凶 变量 组 成 的 mr; 维 列 
问 量 .上 述 阿 题 即 


min cert x+ + Xx, 
st [M1 TI Olfx] fo 
A .0 0 |ix|= 14;|, (2.6.7) 
瘦 3 0 I 


xy Xs At 0. 


按照 非 对 称 对 偶 的 定 习 ,(2.56.7) 的 对 偶 问 题 是 


max bi 十 wb + mb 
st. Al 一 in 0 
【加 1， m2, 003) 六 2 0 0 A [c,0,0], 
A3 0 1, 
蚂 max wbit wb 十 wh, 


St 全] 六 1 十 和 2 太 2 十 本 3 六 3 夺 ， 
全!1 沁 和 ， (2.6.8) 
az 元 限制 ， 
0; 所:0， 
其 中 ,m1, m2 和 wm; 分 别 蚌 由 变量 组 成 的 x1 维 , ma: 维和 m3 维 行 向 县. 定义 (2.6.8) 为 
(2.6.6) 的 对 侦 问 题 ， 

由 {2.6.8) 可 知 , 原 问题 中 的 约束 1x 室 | 所 对 应 的 对 侦 变 量 mi 有 非 负 限制 , A2x = 
$2 所 对 应 的 对 侦 变 车 ws 无 正 负 限制 ,43xz 委 上 5 所 对 应 的 对 偶 变 量 wm3 有 非 正 限制 . 

上 述 三 种 形式 的 对 偶 中 , 原 问 题 和 对 偶 问 题 是 相对 的 .由 于 原 问 题 的 对 便 问 题 也 是 线性 
规划 , 也 有 对 偶 问 题 , 容易 验证 , 它 的 对 偶 同 题 就 是 原来 对 偶 中 的 原 问 题 ,因此 , 相互 对 偶 的 
两 个 向 题 中 , 任何 一 个 问题 均 可 作为 原 问题 ,而 把 另 一 个 作为 对 便 问 题 . 

根据 以 上 分 析 , 可 以 总 结 出 构成 对 偶 规 划 的 一 般 规 则 ,为 叙述 方便 ,在 下 面 所 说 的 约 曙 


均 指 
Ax 六 bp; 及 wp; A e; 
(=) 《= ) 
(<) (2) 


型 约束 ,不 包含 变量 非 负 或 非 正 限 制 .这 些 规则 是 ， 
(1) 若 原 问题 是 极 大 化 问题 ,那么 对 侦 问 题 就 是 极 小 化 问题 ; 苦 原 问题 是 极 小 化 间 题 ， 
那么 对 侦 问 题 就 是 极 大 化 问题 ， 


(2) 在 原 问题 和 对 倡 问题 中 ， 约 东 右 端 资 源 奖 量 与 是 标 省 数 中 价格 向 量 愉 好 对 换 ， 


ek 


| 


Shs hr Tl [T :EE BLL EE 


(3) 对 于 极 小 化 问题 的 " 实 " 型 约束 ( 极 大 化 问题 的 “ 守 " 型 约束 ), 相应 的 对 偶 变 量 有 非 
负 跟 制 ;对 于 极 小 化 问题 的 “过 "型 约束 { 极 大 化 问题 的 "之 "型 约束 )， 相 应 的 对 偶 变 量 有 非 
下 限制 ;对 于 正 限 制 ;对 于 原 问题 的 "=" 型 约 束 ,相应 的 对 侦 变 量 无 正 负 限制 . 

(4) 对 于 极 小 化 问题 的 具 夺 非 负 限制 的 变量 ( 极 大 化 问题 的 共有 非 正 限 制 的 变量 ), 在 
其 对 偶 问 题 中 , 相应 的 的 束 为 “去 "型 不 等 式 ; 对 于 极 小 化 向 题 的 具有 非 正 限 制 的 变量 { 概 大 
化 问题 具有 非 负 限 制 的 变量 ), 在 其 对 偶 问 题 中 ,要 诬 的 约束 为 “之 "不 等 式 ; 对 于 原 问 题 中 
无 正 负 眼 制 的 变量 , 存 其 对 偶 问题 中 ,相应 的 约束 为 等 式 . 

例 2.17 写 出 下 列 线性 规划 问题 的 对 偶 问 题 ; 


max — Tii+ X21+ Ti, 

3.t. 区 1 十 I2+2x4 迄 25 
-XL+27T7- TI， (2.6,9) 
ZX 一 X21+ TX3 = 3, 


这 1， X22 让 0. 


在 原 间 题 中 ,有 
e={c, cc3) = — 1,1,1), 
1 1 2 
A={P;, P,P;)= |-—1 2 十 
1 一 1 1 
| 25 
,=| 中 
bs 3 


根据 规则 1 和 2, 对 偶 问 题 应 为 极 小 化 wb, 根据 规则 4, 在 对 偶 问 题 中 , 与 x1, rs 对 应 的 约 
东 应 是 "六 "型 不 等 式 , 它们 是 


wh cl 
友 

向 下 > cy. 
与 73 对 应 的 约束 是 等 式 ， 即 

WP; = c;. 


根据 规则 3, 与 原 向 题 (2.5.9) 的 第 1 个 约束 对 应 的 对 侦 变 量 wz0, 与 第 2 个 约束 对 应 的 对 
偶 变 量 ws 专 0, 与 第 3 全 约束 对 应 的 对 俏 变 量 ws 无 正 负 限制 .因此 (2.5.9) 的 对 但 问题 是 
min 25w1 + 2w2 + Sow, 
St wl 2+ wi 1， 
外 1 十 22 ws 之 二， 
2w01 一 wm2+ ws = 1, 
wl > 0, wz 0. 


2.6.2 对 偶 问 题 的 基本 性 质 
定理 2.15 蜀 对 但 定 理 设 Y 四 和 四 地 分 别 是 (2.6.1) 和 和 (2.6.2) 的 可 行 解 , 刚 ex 中 六 


1b. 


证 明 利用 对 偶 定 义 很 容易 得 出 定理 的 结论 .由 于 Ax 中 之 b 和 ww 中 之 0, 则 有 
Ar > mp, (2.6.10) 
由 于 c 衬 中 4 和 x 路 滨 0, 则 有 
ex 六 四 (4xt0) . 《2.6.11) 

由 {2.6,10) 和 (2.6.11) 即 知 ex 修之 wm 人 8， 

上 述 定 理 表明 ,就 原 问 题 和 对 偶 器 题 的 可 行 解 而 言 ,对 于 对 偶 中 的 两 个 问题 , 每 一 个 癌 
题 的 任何 一 个 可 行 解 处 的 目标 函数 值 都 给 出 另 一 全 问题 的 目标 函数 值 的 界 . 极 小 化 问题 给 
出 极 大 化 问题 的 利 标 消 数 值 的 二 界 ; 极 大 化 问题 给 出 极 小 北 问题 的 目标 水 数值 的 下 界 ， 

由 定理 2.15 可 以 得 到 瀛 下 几 个 重要 结论 ， 

推论 1 车 x 中 和 ww 个 分 别 是 (2.6.1) 和 (2.6.2) 的 可 行 解 , 且 cx 个 = w 人 各 8, 则 x 中 和 
oo 分别 是 (2.6.1) 和 {2.6.2) 的 最 优 解 . 

推论 2 对 侦 问 题 (2.6.1) 和 (2.6.2) 有 最 优 解 的 充 要 条 件 是 它们 疗 时 有 可 行 解 . 

推论 3 若 (2.6.1) 的 目标 函数 值 在 可 行 域 上 无 下 界 , 则 (2.6.2) 无 可 行 解 ; 反 之 , 若 

6.2) 的 目标 函数 值 在 可 行 域 上 元 上 界 , 则 (2.6.1) 无 可 行 解 . 

定理 2.16 主 对 偶 定 理 如果 原 问题 (2.6.1) 与 对 俑 问题 (42.6.2) 都 有 可 行 解 ,那么 ， 
两 者 必 都 有 最 优 解 , 且 两 者 的 最 忧 值 相 等 ， 

证 明 首先 ,证 明 弃 操 题 有 其 优 解 . 由 于 已 斤 存 在 可 行 解 ,车 原 品 题 受 有 最 优 解 , 则 意味 
著 原 问题 可 行 解 的 慎 可 以 趋 于 - o , 设 对 侦 问 题 的 一 个 可 行 解 为 @ 名 , 则 由 弱 对 偶 定 理 , 应 
有 wb 所 一 ,显然 不 可 能 .因而 原 问 题 必 有 最 优 解 ,其 次 ,证 明 对 偶 阿 题 也 有 最 优 解 , 且 
两 者 的 最 优 值 相等 . 原 问题 的 标准 形式 为 
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必 存 在 基 可 行 解 (x, x,) 是 最 优 解 . 

设 对 应 的 最 优 基 为 8, 则 检验 数 向 量 为 

FF = (0,0) ~ cpB (4, — I) 0, (2,6,12) 
记 单 纯 形 属 子 为 @= csB 1!, 由 (2.6.12), 有 wwA 过 ce, 旬 实 0, 表 朋 是 对 偶 问 题 的 可 行 解 ， 
且 其 对 应 的 目标 值 为 
wb = 有 15， 

而 原 向 题 的 最 优 值 为 ex=epx=eaB !'b. 
任 取 对 偶 问 题 的 可 行 解 w, 由 能 对 侦 定 理 , 有 wh 所 cr = cpB “1b = wb, 表明 ,是 对 侦 间 题 
的 最 优 解 , 且 原 问题 与 对 偶 问 题 的 最 优 解 相等 , 均 为 cpB 4b， 

推论 I 原 问 题 有 景 优 解 的 充 要 条 件 是 对 偶 问 题 有 最 优 解 ， 

推论 2 老 震 问题 有 可 行 解 ,但 无 最 优 解 , 则 对 偶 癌 题 没 有 可 行 解 . 

定理 2.17 最 优 性 准则 设 xi 筷 和 由 包 分 别 是 原 问题 与 对 偶 问 题 的 可 行 解 .那么 , x 
和 w 中 分 别 是 两 者 的 最 优 解 的 充 要 条 和 件 是 cx 中 = wb. 

证 明 由 定 奴 2.16 知 必要 性 成 立 ， 
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充分 性 ” 任 取 对 侦 回 题 的 可 行 解 w, 电 已 知 条 件 , 有 m6 所 cx 中 = m08, 表明 中 是 对 
偶 问 题 的 最 优 解 . 

同 理 , 可 证 x 中 是 原 问 题 的 最 优 解 . 

定理 2.18 车 线 性 规划 (2.6.1) 存 在 一 个 对 应 基 B 的 最 优 解 x', 则 单纯 形 矢 子 wm 名 
= cgB 是 对 侦 问题 (2.6.2) 的 一 个 最 优 解 . 

根据 这 个 定理 ,能 够 从 原 问 题 的 最 优 单纯 形 表 中 直接 获得 对 侦 困 题 的 一 个 最 优 解 . 


2.6.3 对 偶 单 织 形 法 
在 单纯 形 法 的 讨论 中 可 以 知道 ,寻找 最 优 解 是 在 基本 解 中 进行 的 ,基本 解 就 是 具有 如 下 
特征 的 点 ;x =| “|, xs= 昌 -1b. 其 中 是 绕 性 规划 的 一 个 基 . 


基本 解 成 为 最 优 解 的 充 要 条 件 是 以 下 两 个 条 件 同 时 成 立 ;第 一 , 这 个 基本 解 是 可 行 解 ， 
即 满 足 Bb 污 0; 第 二 ,最 优 性 条 件 满足 , 即 检 验 数 向 量 非 负 ,g = -cpB -14 六 人 

在 单纯 形 法 的 迁 代 过 程 中 ,这 两 个 条 件 按 以 下 次 序 得 到 满足 :首先 保证 可 行 性 , 即 保证 
县 - 芒 六 0 并且 在 和 挝 代 过 程 中 始终 保持 可 行 性 不 变 ; 然 后 再 逐渐 使 检验 数 向 量 满 足 w = 
+ — teB -14A 3, 即 逐 步 使 对 侦 可 行 性 得 到 满足 . 当 这 西 条 都 得 到 满足 时 , 也 就 得 到 了 最 优 
解 . 

上 述 过 程 也 可 以 反 过 来 进行 ,如 果 能 首先 保证 检验 数 向 量 非 负 { 即 满足 对 侦 可 行 性 }, 并 
在 选 代 过 程 中 始终 保持 非 负 , 然后 再 逐步 设法 使 基本 解 满足 可 行 性 , 了 世 能 得 到 最 优 解 .由 于 
在 先 代 过 程 中 始终 保证 对 侦 可 行 性 ,因此 把 这 种 求解 最 优 解 的 算法 称 为 对 侦 单 纯 形 法 ,对 侦 
单纯 形 算法 如 下 . 

设 有 线性 规划 问题 


min = cer, 
s.t， Ar = b, 
x* 汪 0. 
(1) 根据 原 问 题 , 询 出 初始 单纯 形 表 ,县 所 有 的 检验 数 非 负 、. 


(2) 若 单 纯 形 表 中 ,上 b 列 所 有 数 6 之 0, 则 可 行 性 满 是 ,得 到 最 优 解 ,计算 停止 ;否则 ,在 
在 某 个 b;<<0, 转 (3). 


{3) 车 所 有 的 ai 守 0, 则 原 问题 无 可 行 解 ,计算 停止 ;否则 , 若 在 在 ay <<0, 转 (4). 
(4) 确定 换 基 选 代 的 主 元 ex, 其 中 , 行 下 标 满足 : 
到 = minf5 | b; < 0|, 
列 下 标 上 & 满足 


FE ， gi 
二 = minl—-— lay 人 <0i. 
公信 i 


(5) 换 基 挝 代 , 以 au 为 主 元 , 对 整个 单纯 形 表 进行 换 基 选 代 变换 , 得 到 新 单纯 形 表 , 转 
(2). - 


例 2.18 用 对 侦 单纯 形 法 求解 
min ZZ = 3r + drz + $7r3, 
st, Ti+277 + 37r3 5, 
2r1 + 277 相交 2 站， 
Tj 1j】= 1,2,3. 


解 ”引入 剩余 变量 , 原 癌 题 化 为 
mn ZZ = 3+dr2 + Sr3. 
Ss.t, — XI -272 — 3r3t Xa =— 5, 
— 271 2x2— 工 3 十 Xs 二 一口 ， 
Ti 0， 了 = 1,2,3,4,5. 


, 则 基 变 量 为 rs, rs, 初始 单纯 表 见 表 2.18， 


0 1 


所 以 四 选 ea31 为 主 元 ， 换 基 选 代 ， 得 新 单纯 形 表 ， 见 表 之 ， 19。 
甫 2,.19 


.1.1 工 .32 32 1- 
表 2.19 中 , -32 一 min{ rT 3 )=1. 


换 基 选 代 , 得 表 2.20， 
甫 2.20 


这 时 ,xs = 《1,2)7 守 0, x ”= (1,2,0,0,0)" 是 可 行 的 ,因此 它 是 原 问 题 的 最 优 解 , 最 优 
值 为 Z "=11， 

在 经 济 问 题 中 ,有 许多 问题 用 对 侦 单 纯 形 法 比 有 一般 的 单纯 形 法 求解 更 为 方便 简单 , 例 
如 曲 小 费用 问题 ,追求 的 目标 照 数 为 极 小 化 ， 目 祝 函数 的 系数 全 部 韭 负 ， 使 用 对 侦 单 纯 形 
法 求解 非常 简单 ， 


2.7 灵敏 度 分 析 


对 于 一 个 给 定 的 线性 规划 ， 一 个 决策 方案 是 否 可 行 、 是 否 最 优 ， 都 依赖 于 构成 这 个 线 
性 规划 模型 的 数据 ,数据 变 了 ， 或 约 东 条 件 有 所 增 碱 ， 就 有 可 能 影 啊 原 最 优 方 案 的 最 优 性 
甚至 可 行 性 , 而 在 现实 生活 、 生 产 与 科研 中 ， 数 据 大 多 数 是 统计 数据 或 观测 数据 ， 这 些 数 
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据 常 常 存在 一 定 程度 的 随机 误差 与 波动 . 因此 ， 需 要 进行 灵敏 度 分 析 ({sensitivity analysis)， 
来 研究 数据 有 微小 变化 时 最 优 解 的 友 应 ,本 节 所 考 虚 的 问题 仍然 是 
min CE ， . 
5.t.。 六 二 ,| (2.7.1) 
人 详 . 
设 B 是 一 个 基 ,x" = (x$,0) ， 显 然 , 县 成 为 最 优 基 旦 zx ”成 为 最 优 解 的 充 要 条 件 是 
{2.7,2) 和 (2.7.3) 同 时 成 立 ; 
xi = Bib0, (2.7.2) 
og=¢e- cph ia 3 (2.7.3) 
提 此 ， 阁 已 知 某 个 数据 变化 后 的 数值 ， 只 需 对 新 数据 计算 检查 (2,7.2) 与 (2.7.3) 是 否 仍然 
成 立 ; 若 仍 成 立 , 划 原 最 优 基 {或 最 优 解 ) 的 最 伐 性 不 变 ; 否则 , 应 另 求 新 的 景 优 解 ( 基 ). 反 
之 ,， 若 想 在 保持 原 最 优 解 (或 最 优 基 ) 的 条 仁 下 求 出 某 个 数据 的 允许 变化 范围 ， 只 需 将 该 数 
据 视 为 待定 参数 ， 联 立 求解 (2.7.2} 和 (2.7.3), 求 出 该 数据 的 范 团 . 


2.7.1 价格 系数 x) 的 次 化 


为 简化 讨论 ,假定 除 价 烙 系数 = 之 处 ， 原 问题 的 其 余数 据 均 没有 变化 . 

假定 要 解雇 的 问题 是 : 如 果 要 保持 原 最 优 艇 不 变 ， 求 价格 系数 e 的 最 大 允许 变化 范 
转 . 

首先 , 由 (2.7.2) 可 知 . 价格 系数 c 的 变化 并 不 影响 解 的 可 行 性 ,因此 只 需 考 虑 -=; 的 
变化 对 检验 煞 向 量 e 的 影响 即 可 . 

设 价 格 向 量 由 c 变 成 c. 

f = (cp: en). 

其 中 , cp， en 分 别 蚌 基 变 量 向 基 xs 和 非 若 变量 向 量 xw 的 价格 系数 ， 则 其 对 应 的 新 检验 数 
向 量 g=c-cnB-'A. 

基 变 最 向 其 xs 的 检验 数 向 量 恒 有 

ts= Ca- cB B= 人 0. 


非 枯 变量 向 量 xw 对 应 的 检验 数 向 最 为 


FN = Cy — tpB-IN. (2.7.4) 
欲 使 原 最 优 解 不 变 ， 内 需 令 wy 宇 0 妈 可， 有 即 令 
ecN 一 CBN 0, {2.7,5) 


从 不 等 式 组 (2.7.5) 中 解 出 eg,cN 的 解 集 就 达到 了 目的 . 特别 地 ,有 
(1) 车 基 变 景 价格 系数 不 变 { 即 ca = cea), 而 非 基 变量 价格 系数 变 为 
eN 一 PN + Aew, 
则 (2.7.5) 化 为 
{cw + acw) - cpB-iN 0, 
Acy > (en - eaB 'N) =- on, 
表明 , 当 仅 有 非 基 变量 的 价格 系数 变化 时 , 为 保持 不 最 优 解 不 变 ,其 变化 量 Ac; 不 能 小 于 原 
问题 的 对 应 检验 数 w 的 相反 数 5)。 
(2) 若非 基 变 量 价 格 系数 不 变 ( 即 ew = cw), 而 基 恋 攻 的 价格 系数 为 cp = ep + Acs, 则 


{2.7.5) 化 为 
en - (cp + Acp)B IN 0, 
AtpB IN SS tw - caB IN = gw, 
注意 B71N 就 是 最 优 表 中 非 基 变量 的 系数 第 阵 N’, 所 以 应 有 
ACEN’ < FFN， (2.7.6) 
从 (2.7.6) 中 解 出 Aca 的 各 个 分 量 即 可 。 


2.7.2 资源 约 东 向 量 5 的 变化 


假定 原 间 题 的 约束 方程 组 右 端的 资源 约束 向 好 变 为 
万 一 五 Ab， 
而 原 问 题 其 余 的 数据 不 变 。 
为 使 最 优 基 可 行 解 的 意义 更 加 明确 直观 , 林 妨 假定 原 问题 是 一 个 求 最 大 收益 的 最 优生 
产 计划 问题 , 这样 ,最 优 解 x" 即 代表 一 个 最 优生 产 计 划 . 最 优 基 可 行 解 代表 了 两 重 意义 ,一 
是 可 知道 局 些 变量 是 基 变 量 { 其 经 济 意义 是 应 安排 哪些 怠 种 的 产品 投产 ), 二 是 各 个 基 变 量 
的 值 是 多 少 ( 其 经 济 意义 是 准备 投产 的 品种 各 应 生产 多 少数 量 ) ,因此 ,最 优 解 不 变 就 意味 着 
既 要 最 优 基 B 不 变 , 又 要 基 变 基 的 值 xs 不 变 ,但 是 由 于 
xa = Bib, 
即使 最 优 基 B 不 变 , 5 的 变化 也 必 引 起 xs 的 值 变化 .因而 当 8& 发 生变 化 时 , 只 讨论 最 优 基 
是 理 变 化 . 电 于 在 生产 实践 中 , 改变 生产 的 品种 往往 要 增加 许 移 费用, 因此, 当 资源 向 党 六 
变化 时 , 如 果 能 保持 最 优 基 不 变 , 也 是 很 有 井 久 的 ， 
设 讨论 的 问题 为 ,如果 和 欲 保 持原 问题 的 最 优 基 不 变 , 那么, 资源 约束 向 量 b 的 最 大 允许 
变化 范围 是 什么 ? 
由 (2.7.3), 检 验 数 e 的 计算 与 5 元 关 , 因 而 只 需 讨论 对 于 奕 化 后 的 了 ,是 否 仍 有 2 3 
即 可 , 令 


XB 六 小 , 
Bilb+Ab)= Bip 0, 
BliAb > Blp=-b. {2.7.7) 


其 中 ,天 是 最 优 表 中 心 列 的 向 量 ,从 {2.7.7) 中 解 出 A5 的 各 分 量 的 取 值 范围 ,问题 即 得 到 解 
决 . 
. 欲求 解 (2.7.7), 关键 是 求 出 BB"1. 从 理论 上 讲 , 既然 已 经 知道 了 最 优 基 8, 就 可 以 采用 
线性 代数 中 求 穗 阵 的 遵 矩阵 的 方法 算出 8B-', 但 是 现在 没有 必要 花费 大 量 精 力 计 算 逆 算 

阵 , 事实 上 ,最 优 单 纯 形 表 中 已 经 答 供 了 有 关 B"! 的 信息 . 

设 原 问题 的 初始 标准 基 为 

Bo=I= (P,, P,, “…, P, ). 

其 中 ,向 量 P, 是 单位 坐标 向 量 s, 是 原 问题 的 幼 东 方程 中 变量 x 所 对 应 的 系数 列 向 量 ， 

已 知 B 是 最 优 基 , 由 单纯 形 法 的 选 代 过 程 知 ,最 优 单纯 形 表 中 的 系数 矩阵 各 列 应 为 


和 一 (PP 二 有 (Pi 县 -LP。，…, 严 -1P，)， (2.7.8) 


因此 ,最 优 表 中 变量 x, 对 应 的 列 向 量 P “满足 
《PP 下 《了 


如 可 园 回 辆 四 四 
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于 图 加 动 加 因 央 启 和 加 风 回 癌 和 加 妈 上 名 如 留 轩辕 图 上 四 玉 


=B (Pp, ,P,P, )=B!1, (2.7.9) 
所 以 有 
(P', ,P,P,)= 8B ". 

2.7,3” 约 东方 程 组 的 系数 算 阵 4 的 变化 

这 里 , 仪 对 非 禁 向 量 P; 发 生变 化 的 情形 进行 讨论 .由 {2.7.2) 和 (2.7.3) 可 知 , 非 基 向 量 
P; 的 变化 仅仅 影响 相应 的 检验 数 s) 的 慎 , 而 对 解 的 可 行 性 没有 影响 . 设 非 基 向 量 P; 变 为 

P; = P, + AP,. 
对 应 的 检验 数 为 o;, 那 么 有 
oj = cj 一 CBE 已 = ec; - cpB ll(P, + AP,). 

显然 , 欲 保持 最 优 解 不 变 , 必须 且 只 需 使 5; 非 负 .为 此 , 令 


fi 一 ecEE (Pi 十 冬天 ) 六 0， 
caB AP Es ci cpB 1P; 王 Ci， {2.7., 10) 


求解 不 等 式 (2.7.10), 县 可 确定 P; 的 变化 范围 . 
2.7.4 增加 一 个 变量 xz, .1 
设 原 间 题 为 


mn 2 = Cap + cnn 
S.t, Bxs + Nxry = 6, 
Xp 之 四 ,YN 站. 
其 中 ,8 是 原 问 题 的 一 个 可 行 基 ， 
在 原 问题 中 增加 一 个 变量 x, :1( 其 经 济 童 义 是 在 制定 最 优生 产 计划 时 , 增加 一 个 可 以 
考虑 的 新 产品 A,+1), 化 为 新 间 题 ， 
min Z = earB + CNEN + Cn+1Xnrls 
st. Bxp+ NEN + Priza+ti = b, 
XR XN rt 0 
显然 ,在 新 问题 中 , 8 仍然 是 一 个 基 . 由 于 在 新 闻 题 中 , 并 未 改变 原 阿 题 的 数据 b 和 P;, c;. 因 
此 ,在 新 问题 中 ,B 仍然 是 一 个 可 行 基 , 而 检验 数 人 = 1 2,…,2) 也 不 变 , 若 中 是 原 问 题 
的 最 优 基 , 则 在 新 间 题 中 , 应 有 
号 15 六 有 
v0 1= 1,2,.,n. 
国 此 , 若 欲 使 吾 也 是 新 问题 的 最 优 基 , 必须 且 只 需 ao ;1 非 贫 . 令 
antl = Cntrt ™ CoB ‘Parl. 


若 +i20, 表 明 B 是 新 闻 题 的 最 优 基 , z, ,是 新 问题 的 非 基 变 基 (其 经 济 意义 是 新 产 


| 品 Ai 不 应 投产 ), 原 问 题 的 最 优 解 在 其 后 面 增加 一 个 零 分 量 后 即 为 新 闻 题 的 最 优 解 ， 


车 ri<0, 表 明 B 不 是 新 间 题 的 最 优 基 , 需 再 次 渤 代 .为 此 ,应 计算 
P's 三 B !P,,, 


把 Py 和 crl 加 入 到 原则 题 的 最 优 表 中 , 以 rz,+1 为 人 基 变 量 , 进行 拘 基 兴 代 , 求 出 新 的 最 
优 解 ， 


2.7.5 增加 一 个 约 率 条 件 
设 在 原 问题 中 增加 一 个 约 保 条 性 


过 11 十 … 十 dT A brnt1s 
引入 松弛 变量 zx, ;1, 可 化 为 
diT1+ + drrn t+ Tansl = Om+l: 


于 是 约束 方程 组 的 系数 矩阵 变 为 mw +1 行 ,xn +1 列 ,其 增 广 矩阵 为 


we | Ga 
dp dn 1 … bn | 
其 中 ,dp= (di, dz dn), dy= (dnt dan) = 00...,0)7. 
(2.7.11) 等 价 于 
I BIN 0 … Bb 
, (2.7.12) 
dp dyw 1 mil 


注意 (2.7,12) 的 上 部 分 恰好 是 原 问 题 的 最 优 单 纯 形 表 的 系数 部 分 .利用 关于 行 的 初等 变 柳 ， 
将 (2.7.12) 中 的 ds 化 为 6,0= (10,…,0), 可 将 (2.7.12) 化 为 (2.7.13), 有 


| No Ad (2.7.13) 
oO dn 1 2 bnnal | 
显然 , (2.7.13) 正 是 新 问题 的 单纯 形 表 的 系数 部 分 .对 照 (2.7.13) 与 (2.7.11) 可 知 ,新 问题 
的 基 为 

B 0 

z= |. 


基 变 量 向 量 为 xB = (xi ,wn Ts1) 
下 面 讨论 新 间 题 关于 基 召 的 检验 数 向 量 =, 记 新 闻 题 的 系数 所 阵 为 4, 那么 
_ [2 N 0 _, |! BIN | 
“lds dy 1 0 dy 1 


和 


新 问题 的 价格 系数 向 量 为 
e = (ca, cn, 0D), 
& = (Fa, ON, Fnri) 
-1 
= (ee， cw;0) 一 (ca) ee 9 
= (0, cnw -ecB8B NO0) 
= (0, on, 0). 
显然 ,车 B 是 原 问题 的 最 优 基 , 则 有 
on 2 0, 
so 之 0, 
若 url1220, 表 明 已 得 到 新 闻 题 的 最 优 单纯 形 表 . 


ht 
3 


洲 6wri<0, 表 明 新 间 题 的 基 五 不 是 可 行 基 . 这 时 , 可 利用 对 偶 单纯 形 法 进行 换 基 选 
代 , 求 出 新 问题 的 最 优 解 . 


2.8 多 项 式 时 间 算 法 


一 个 算法 的 计算 量 与 每 个 具体 线性 规划 的 规模 有 关 , 把 线性 规划 回 题 输入 计算 视 时 , 全 
部 数据 化 为 一 个 二 进 制 代 码 序列 , 其 中 所 包含 的 0 与 1 的 个 数 工 称 为 该 同 题 的 输入 长 讼 ， 
可 以 用 来 刻画 向 题 的 规模 ， 

若 对 辖 人 长 度 为 工 的 具体 问题 , 计算 步 数 均 有 一 个 上 界 PC(L ), 即 关于 工 的 多 项 式 , 则 
称 这 种 算法 为 过 项 式 时 介 算 法 , 简称 多 项 式 算 法 . 

多 项 式 算 法 是 一 种 比较 好 的 算法 , 随 闭 何 题 规模 的 增加 , 其 计算 时 间 增 长 并 不 是 很 六 . 
单纯 形 算 法 旺 解 线性 规划 问题 的 实用 而 有 效 的 方法 .然而 它 并 非 多 项 式 算 法 .现实 中 存在 的 
许 许多 多大 型 复杂 的 问题 迫切 逢 要 有 比 单纯 形 方法 更 好 的 算法 .苏联 科学 院 计算 中 心 的 
L.G. Khachiyan 在 1979 年 提出 的 椭 球 算法 虽然 是 多 项 式 时 间 “ 好 的 "算法 .然而 , 椭 球 算法 
求解 相同 规模 问题 在 一 般 傅 形 下 所 需 的 计算 量 与 在 最 坏 情 形 下 相差 无 儿 . 炳 球 算法 虽 其 有 
理论 意义 ,但 实用 价值 并 不 商 ， 

1984 年 , 在 美国 贝尔 实验 室 工作 的 28 内 的 印度 数学 家 Karmarkar 提出 求解 线性 规划 
的 另 一 个 多 项 式 算法 .该 算法 在 实践 中 可 以 和 单纯 形 算法 相 媲 美 ,在 介绍 Karmarkar 算法 之 
前 , 先 给 出 一 些 预备 知识 ， 

首先 给 出 单纯 形 的 有 关 概 念 和 姓 质 ， 

给 定 j+1 个 点 za 如果 | 一 ao (i =1,…,j) 线 性 无 关 , 则 称 这 些 点 的 品 组 
他 

Ss= {wlw= Pap 420, Da = 1 
为 ; 维 单纯 形 , 简 记 为 S=[v?, vw]. 

车 19, … wo ] 为 的 mz 维 面 , 它 是 一 个 mz 维 单纯 
形 . 5 的 1 维 面 义 称 为 边 , v*,…, wi 为 顶点 . 

考 虚 E"*! 中 的 n 维 单纯 形 ; 

S= [eenril=|xrtxrz0erx =11, 
S 的 n+1 个 顶点 为 ej,…,eiiiint+1 个 mn 一 1 维 面 为 
[ey eR- ektls e+] = {x | ze = 0, 2 = 11, 之 0}. 


如 
[er,***, en | 一 {x | Xn+1 = 0, yz = 1, x; 守 0}. 
i=l 


S 的 形 心 a0= 于， 其中。 为 n+1 维 的 全 "1" 向量 .容易 大 出 S 外 搂 球 的 半径 为 


S 内 接 球 的 半径 为 r= | 0 


加 a 
R= | +i 


有 = 
设 P, =|x|x 实 人 f 乞 EF. 给 定 al,…,a>0,. 构 造 变换 了 = T(x): 
) 


入 - 一 zean 二 1 (2.8.1) 
| >») +1 
j=1 区 
1 于 
Mn+1 三 [9 二 1 一 yy,. 
S++1 i=l 
il Qi 


则 y= T(x) 有 如 下 性 质 . 
(1) 道 变换 为 ri = ays/yntrlt i=1,"…,n. 
(2) 将 记 , 变 为 S=|yleTy=1,y 守 01 性 E". 将 也 ,中 由 zx;=0 确定 的 面 变 为 S 的 相应 
曾 =0 上 .将 ,的 无 穷 远 点 变 为 S 的 面 y。+1=0 上 . 
Karmarkar 算法 中 用 到 的 另 一 个 变换 为 
Dix 


Y eTp-ly 


其 中 D= diag(lal ,an), a; >0(i= 1 n). 容 易 看 出 ,其 道 为 x 


记 S=|x|x 守 0,eTx=1,x= (zl,…, 工 ,) 1 则 该 变换 是 S 到 5S 上 的 变换 , 且 把 a = 
(a1,…,an)7 变 为 $ 的 形 心 Le. 


Karmarkar 算法 是 求解 Karmarkar 标准 形 的 方法 ,以 后 将 说 明 , 如 何 将 一 般 形式 的 线性 
规划 问题 化 为 这 种 标准 形 . 


给 定 Karmarkar 标准 形 
min x, 
s.t. Axr=0, 
e'x=1, 
+0, 
二 e 是 可 行 解 , 且 最 优 目 标 值 为 0. 


为 使 算法 有 较 快 的 站 化 速度 , 希 户 从 第 上 次 浊 和 拒 后 ,或 者 有 ex = 和, 或 者 ex 个 声 
2790x 人 .其 中 ,gq >0 充分 大 ,2 为 精度 , 邑 有 logaer 避 < 委 logzex 忆 -0. 为 了 得 到 这 一 结果 ， 
定义 势 函数 


fx,e) 一 om | 
它 在 选 代 中 有 一 定 程度 的 下 降 性 . 
Karmarkar 算法 的 基本 思想 :对 于 开 armarkar 标准 形 和 相应 的 势 函数 f(x,e), 取 x 中 = 
6, 令 =0, 算 法 第 上 步 迄 代 包括 以 下 环节 ， | 
设 当前 选 代 点 “的 >0 为 标准 形 的 可 行 解 , 令 Dp = diag(zf,…, zx 站!)), 作 变换 

一 上 ， 


二 
bam | 


"8 


Ee i 必 EP 
i [a ~ ri: 


其 道 为 
Dr FES. 


则 (9 的 像 为 了 e ,而 且 Karmarkar 标准 形 等 价 于 

min ey, 

gt. Ay=0, yES. 
其 最 优 值 为 0, 1 是 可 行 解 .其 中 入 = AD,c7= DeT, 势 函数 化 为 


(ce = fly,5) - PH. 


算法 的 主要 环节 是 在 问题 (2.8.2) 中 求 一 个 可 行 解 5', 使 得 相应 的 势 函 数 f(y,c) 有 所 
下 降 . 即 


PO Le,e] 8, 8>0. 


为 此 ,考察 f(y,5) 在 Le 处 的 梯度 投影 方向 .点 满足 (2.8.2) 的 等 式 约束 
Ay 三 从， ely =1., 


, 则 MT 为 等 式 约束 的 梯度 . MT 所 张 成 的 子 空间 的 正 交 补 上 的 投影 矩阵 


AD 
令 M=| oT 
为 
P=1I-2. 
其 中 ,0 = MT(MM")-!M, 势 函数 /(y,5) 在 je 处 的 祷 度 为 
vl le,e] = Er- ne. 


势 函 数 f(y,5) 在 Le 处 的 梯度 投影 方向 为 


1 -i_,f nr _ pT ap- 
pv le,d) =P cer ne] =P 2 Pe 
令 ep 二 cPT. 若 cp=0, 则 Te 为 问题 (2,8,2) 的 解 ,从 而 x 人 为 Karmarkar 标准 形 的 解 . 不妨 


设 cpx0, 令 2= 于 5 下 ,这 就 是 f(y,5) 在 we 处 的 梯度 投影 方向 .在 we 处 , 沿 -方向 了 
一 点 


也 1 a 
b=—e—arc!. 
村 


1 nl ， 
= 一 -二 -一 ， ， Oa ， ,bb 是 问题 
其 中 ,r= -三 了 = 和 为 5 内 切 球 半 径 ,« 为 常数 ,满足 /二 ,显然 


(2.8.2) 的 可 行 解 ,而 且 5 EB[ esor] = {?|| 一 二 | <(or)). 
下 面 进一步 考察 5 的 一 些 重 覃 性质， 
定理 2.19 天 是 问题 


min ¢y 
s.t， anal | 
的 解 ,其 中 癌 "= lylAy=0,eTy=11, 
证 肖 ”问题 (2.8.3}) 的 K-T 条 件 为 


eT mr(#) +2[3 -1e)=0, 1 六 0. 
TE | 


T 

2[(y- | -二 -ar?j=0， 
下 

ee 

mly- 1e) 二 闪 . 


用 呈 左 老人 (2.8.4), 得 
c+2P| -二 = 
显然 4 关 0. 由 (2.8.4) 和 (2.8.5) 可 解 出 y= Le ~ or6T= 
由 K-T 充分 茶 件 知 ,b' 最 优 . 
为 了 说 明 /(5”,5) 比 /| ,| 有 一 定 程度 的 下 降 , 先 给 出 以 下 结果 


定理 2.20 ”对 于 问题 (2.8.2) 及 相应 的 势 通 数 /(y, 5), 有 bE 0 站 B[ Le,ar 


十 =0, 或 者 F( 了 ,5)S 几 | sj - 6， 其 中 8 >0 为 常数 ， 
证 明 ” 设 x 是 问题 (2.8.27 的 解 , 则 cx =10. 
情形 1 车 x EB| ,ar], 则 取 5=x" 即 为 所 求 ， 
情形 2 若 x 所 [ear], 设 5 是 e 与 x 的 连 线 间 B( 6, ar 


b=(1 -A) eta, 41€(0, 1). 


显然 5E 0 B| Le,ar], 现 证 5 即 为 所 求 ， 
cl 
f(Te,e)] - -f(b,c)= Bow 1 中 
-el 


人 1 ， 
《一 让) 一 十 Me 
Sn- A) Loe + Aer | " 可 


i=l1 


= Plo 1 1 


= ] (2x 
ne 1 一双 


-0 + A 


中 


{2.8.3) 


{2.8.4) 


(2.8.5) 


b' 为 问题 (2.8.3) 的 唯一 K-T 点 . 


,使 得 


边界 之 交点 ,由 


4 


~ :一 et 
图 加 加 本 


由 于 当 4 之 0 时 ,有 村 (+) 泛 1+ 394, 从 而 有 了 Vlog(1+ 4) 之 log(1+ yt ,于 是 
i=1 1 i=1 i 
得 到 
1 人 人 一 四 二 A 的 
A 


> logs (1+ 了 加 
多 


EED EEE ES 


二 


= log, 1+ Te 。 
于 1 -1 -_1 1 
b= A etar = lo+als — Ll 在 B| es ar 的 边界 上 , 故 
A = bie =2|r -olan, 
rT __a 
六 Rat 
其 中 ,RR 为 S 的 外 接 球 半 径 . 因 此 
立 
其 
1+ 各 >1+ 一 上 >1+e， 
1— 全 
n~l 
A es 
用， fb, ce) >log (1l+a)=8. 
为 进一步 证 得 纪 语 势 画 数 下 峰 , 先 给 出 两 个 引 理 ， 
主 
引 理 1 着 lat<<B8<1, 则 tlog(1+e) -al<F0i By. 
-| a A 
llogtl +a)—-al|= 2 ?| (1+B8+P+ ) = 20 8) 
| ‘oy 十 log 于 有 
引 理 ? 设 p=a |/-“-, 若 xcEarnal bj 权 LI<20 
证 明 
nl i 9 字 ， ™ vj 一 十 
LI | Pe - Doe 
"| 
1 1 
n 证 一 捍 Ti nn 
= Zl08 二 十 工 -和 1 
六 ni 
_。 -414| > - 工 
= | >，ilog|1+ 21|_ 2 
名 1 
1 1 
对 AA; # IT; nH 
< log|1+ —I | 工 
Li Ei 


2 
另 一 方面 ,x EB| Le,ar 小 -3| < 所 以 


时 x! -+ 
2 : naar) = jo 三 = p, 
i 二 
zx- 
7 于 
|< 
a _1 
#9 村! 而 | 裤 四 闻 < 5 |- I < 31 -Bp): 
) A 1 
n 


下 面 给 出 六 的 一 个 重要 性 质 ， 


定理 2.21 ”对 于 问题 (2.8.3) 的 解 5 = le - or, 或 者 55 =0, 或 者 f(b ,6) 声 


/| 二 ,了 | -0. 其 中 ,8 为 正常 数 . 


证 明 ”构造 问题 
min fly,e), 


s.t,， 全 oNB[ Te, or 


设 5 为 其 解 ,定义 函数 J y)= nlog -人 ， 
Ce 


n 
Fle,o) -765°,0)= [7 dee) -p08,,0)]+ [F600) ~ /Le 
[LHC -Fo 
如 果品 "= 0, 证 完 ; 否 则 ,分 别 估计 以 下 各 项 
fle,0] -f(b 0) >/ Le,e) -fCB, Blog(L+a)， 
其 中 ,5 为 定理 2.20 中 的 有 关 量 . 
当 yE ONB|e,ar] 时 ,有 


-及 
< 8). 


Jr.5) -#1e,0) -77)|= |- Beet 


特别 当 y = b,, 及 y= 时 ,上 式 成 立 . 最后, f(y) 是 cy 的 单调 增 函 数 . 5 是 cy 在 人 9" 站 


B| Le,ar] 上 的 极 小 .所 以 ,b 也 是 F(y) 在 9° 站 B[ 二 s， or] 上 的 极 小 .从 而 有 


Fbn Fb'). 
由 上 述 各 项 估计 得 到 


#1e,d) -Hb,0) |>logl1+ 0) -20 -人 


,可 -F085,) |- 


"#2 “ 


2 
=loa(1+ 4) -11E >e~ i na 
Cn -D1-a 一 


n-l 
2 
$n) 和- -本 | .容易 看 出 ,有 8>0, 使 得 8(#) 之 8>0. 
" yn-l1 
该 定理 表明 ,可 以 用 问题 (2.8.3) 的 解 作为 河 题 (2.8.2) 的 势 函 数 下 降 点 .在 第 上 步 
迭代 的 最 后 ,用 刀 的 原 像 作 x 的 的 后 继 点 ; 
x+rD Db 
e Dh 
显然 ,x 0 st ES，Axztt 一 0, x 为 问题 (2.8.1) 的 可 行 解 .因此 ,对 问题 
(2.8.1) 的 Karmarkar 算法 的 计算 步 台 可 归纳 如 下 . 


令 x = Te, =0. 著 cx 中 S27 x 中 则 停 , 否则 , 令 


x g(x), R=0,1,2,-… 
而 5= g(a) 由 下 述 运 算 构 成 ， 


AD 
(1) 令 D= diagta1, … ;an); M = T | 
必 


ch= (1- MTCMMT) IM) DCT， 


17 cp 
tC Te 
(2) 令 b =e ortT. 
其 中 ,r= a1|. 
(3) b= 


2 
现在 ,证 明 该 算法 的 两 个 主要 结果 : 势 评 数 f(x,e) 是 下 降 的 ;算法 是 多项式 时 间 型 的 . 
定理 2.22 在 Karmarkar 算法 中 ,或 者 有 extt+r0 = 和 ,或 者 有 FwtrD cy rre， 


一 个 ， 
证 明 由 定理 2.21. 对 算法 得 到 的 pb' 或 者 ep” =0, 或 者 fp eA Le,e) 一 .车 eb 


Dlxytk+1) Cx i**l) 


=0, 则 有 eh’ =cDb=eD eh lr) oTp-iy(e+y) 


从 而 有 cztt+1 一 候 ， 
若 f(5,e)<f( Te, ~$. 由 于 


zi 
得 


(be) | Te, 引 - toe 小 -De 
4 
一 (GEtD ee) _ fr), ce), 
只 而 有 f(x?D, ef ,ce) -6. 


定理 2.23 Karmarkar 算法 最 多 挝 代 o(ng) 步 后 可 终止 , 即 算法 是 名 项 式 时间 型 的 . 


证 明 假设 cx 个 关 @ (i =0,，1,，…, 点 ), 则 有 
fx ee) fxr, 0) - 
kB 


mn {EE) 可 《07 【2.8.67) 
ex , €x 

Zlog Sy < 2 log oy 一 

j=1 x} = x 


由 于 


(Ix) < 1( Dx) = 1 


j=l 3 ji 
TTxe < [二 一 {x 人 ny" 
} 1 ™\n 了 ， 
了 了 1 


logx 人 & Dlogx lh), 
了 于 


j=1 


由 {2.8.6) 可 得 


(RY 
ex 
1 过 一 中 
nog ex = 


《让 是 
妃 并 < 四 
ex 和 . 


A = 
全 gq; 则 大 rE 


最 后 讨论 一 般 线 性 规划 问题 的 求解 ,给 定 一 般 形 式 的 线性 规划 问题 
max ex, 
st。 Arh, x 
现在 把 它 化 为 Karmarkar 算法 标准 形 . 和 问题 (2.8.7) 等 价 于 线性 不 等 式 组 
A 
TD 人， 
cxi>b'y. 


引入 松弛 变量 后 , 该 不 等 式 组 又 等 价 于 Ax =5,xX 尖 0. 
取 x (>>0, 不 妨 设 Ax 人 中 闫 $b ,构造 问题 


max A， 


(2.8.7) 


st, Ax—b=A(Ax 0 —b), (2.8.8) 


X20, 20. 


僧人) 
问题 有 正 的 可 行 解 | .显然 问题 (2.8.7) 有 解 等 价 于 问题 (2.8.8) 的 最 优 解 1 =0. 


这 样 ,问题 (2.8.7) 等 价 于 一 个 具有 等 式 约束 、 非 负 的 束 . 有 正 可 行 解 和 最 优 值 为 0 的 线性 规 
划 问 题 , 为 简化 记号 , 记 问 题 (2.8.8) 的 更 一 般 的 形式 为 
min er, | 
s+. ArSb, 0. 
有 可 行 解 a = (al ao)>0i 最 优 值 为 0. 
可 见 ,一般 形式 的 线性 规划 问题 都 可 划 为 一 个 与 之 等 价 的 (2,8.9), 在 把 (2,8.9) 化 为 
Karmarkar 标准 形 . 作 变 罚 


(2,8.9) 


回 辐 国 国 萎 全 图 


pp EE Er my perp 有 > 『 TE ES EE FE 
较 辐 四 图 图 因 国 图 国 图 医 轿 图 用 加 加 首 肖 了 园 轩 图 隔 轩 好 图 


i 站 +» i=1, >» 人， 
Xs 
atl 
yr = 11- Py. 


ieml 
于 是 问题 (2.8,) 又 等 价 于 
min DV) ca 
i=1 


Jy1 


st. AD 一 有 yt = 0, 


Yrl 
n+ 
> Yi 三 1，, 下 六 0. 
1 

Le 可 行 ,最 优 值 为 0. 此 即 Karmarkar 标准 形 . 


上 述 方 法 在 理论 上 是 可 行 的 .但 由 于 在 变换 过 程 中 导致 问题 规模 变 大 , 因而 是 不 实用 
的 .获得 Karmarkar 标准 形 的 滑动 目标 函数 法 是 一 种 比较 实用 的 方法 ,此 处 从 略 . 


2.9 线性 规划 程序 求解 


用 Matlab 优化 工具 荐 解 线性 规划 模型 及 命令 如 下 . 


(1) 模型 : 
min Ze= (0xr, 
$s.t. Axr 48， 
命令 : x= linprog(c, A,b). 
(2) 模型 ， 
min ZZ = cx, 
3.t. Ax < 哺 ， 
Aeqg * x = beq. 
命令 ， x= linprog(c, A, b, Aeq, beqg). 
注意 : 若 没有 不 等 式 :4xs 存在 , 则 令 A=[],5=[]. 
(3) 模型 : 


inin ZZ = er, 
st， Ax 雪上 四 ， 
Aeqy * x = beq, 
vb Sr wid, 
命令 :中 x= linprog(e, A,b, Aeq, beg, ulb, vlb); 
® x=linprog(e, A,b, Aeq, beq, ulb, vlb, x0); 
注意 ;中 车 没有 等 式 约 昌 :Aeg .和 = Bbeq, 则 令 Aeqg =[1], beq =[]; 
二 其 中 zo 表示 初始 点 . 
(4) 命令 ; [x, fval] = iinprog(，..)， 


返回 最 优 解 x 及 x 处 的 目标 函数 值 fval， 

例 2,19 任务 分 配 闻 题 基 桔 间 有 有 甲乙 两 台 机 床 ,可 用 于 圳 工 3 种 工件 .假定 这 两 台 
车 床 的 可 用 台 时 数 分 别 为 800 和 900,3 种 工件 的 数量 分 别 为 400,600 和 500, 且 已 知 用 3 种 
不 同 车 床 加 工 单 位 数量 不 同 工 件 所 需 的 台 时 数 和 加 工 莫 用 见 表 2.21. 癌 怎样 分 配 车 床 的 刀 
工 和 任务, 才能 既 满足 加 工 工件 的 要 求 , 又 使 吉 工 费用 最 低 ? 

甫 2.21 


单位 工件 所 备 加 工 各 时 数 
工作 1 | 工件 2 
于 
1.2 1.3 11 
解 ” 设 在 转车 床上 加 工 工件 1,2, 3 的 数量 分 别 为 x1, zz, zx;, 在 乙 车 床上 加 工 工件 1， 
2,3 的 数量 分 别 为 xd zs, 6., 可 建 并 以 下 模型 ; 


min 2 = 13r1 +t 9r2+ 10r3+ llxs + 12xs + Brse, 


Ss,t, Xl1+ TX4 = 400, 
X22 + Xs = €00, 

工 3 十 21 一 500， 

0.471+ 1.1lxr2+ x < 800， 


0.53r54+ 1.2z; + 1,3zs SE 900, 
Xi 0， i 二 1,2,",6., 


化 为 标准 形式 为 
min Z=(13 9 10 11 12 8)zx, 
04 11 10 0 0 800 
! | 0 0 0.5 1.2 Ed 
100100 400 
1001 | = | 
001001 500 
TH 
2 
= 3 | 
I4 
5 
和 
程序 ; 


c=[1391011 128]; 
A=[0.41.11000 
0000.51.2 1.3]; 
b=[800;900]; 
Aeq=[100100 
010010 


回回 园 回 医 加 


注 


Sh 


rb ll ELLsls ll > ELST 


。 

Ss 

Ea 
一 


001001]; 
beq= [400 600 500]; 
vlb= zeros(6, 1): 
vub = [); 
[x, fwval] = linprog(¢, A, b, Aeq, beq, vlb, vub) 
0.00001 
600.0000 
0.0000 
400.0000| 
0.0000 
500.0000 
fval= 1.,3800e+ 004, 
即 在 甲 机 床上 加 工 600 个 工件 2, 在 乙 机 床上 加 工 400 个 工件 1、500 个 工件 3, 可 在 满足 条 
件 的 情况 下 使 总 加 工 费 最 少 , 为 13800 元 ， 
例 2.20 某 厂 每 日 8 小 时 的 产量 不 低 于 1800 件 . 为 了 进行 质量 控制 ,计划 聘请 两 种 不 同 
水 平 的 检验 员 , 一 级 答 验 员 的 标准 为 ;速度 25 件 / 小 时 ,正确 率 98%%, 计 时 工资 4 元 /小 时 ;二 级 
检验 员 的 标准 为 :速度 15 小 时 / 件 ,正确 率 95% ,计时 工资 3 元 /小 时 .检验 员 每 销 检 -次 ,工厂 
要 损失 2 元 .为 使 总 检验 费用 最 省 , 该 工厂 应 聘 一 级 ,二 级 检验 员 各 几 名 ? 
分 析 : 设 需 要 一 级 和 二 级 检验 员 的 人 数 分 别 为 ri, za 人 , 则 应 付 检 验 员 的 工资 为 
BXxd4X rt+xX3X x = Mri+ 24r2. 
因 和 检验 员 错 答 而 造成 的 损失 为 
(8 x25 x2% x rt+Bx15x5% xX rT2) xX2 = Br + 12x2, 
鼓 上 标 了 沙 数 为 


=“ 妥 :其 一 


minZ = (3271 +24T2) + (Br + 127x2) = 4071 + 3672， 


约 东 条件 为 8x25xzri+8x1l15xzzz1800， 
Bx253xX 27! 1800, 
8x15x 77E1800, 
工 1220， 工 22220. 
模型 为 min 2Z=407r1t+367x2, 
s.t. Szri+ 37r22245, 
1 99， 
X215, 
T1200, 0 
标准 形式 为 


| 
min ZZ= (40 ;0)| | 
I2 


TL 
s.t， (—5 -9 |<-4, 
证 人 


0 近 工 < 近 9， 
0 妆 寺 15， 


算法 ; 
c= [40;361; 
A=[-5 -3]; 
b=[ -45]; 
Aeq= [J 
bedq=[]: 
vlb = zerost2, 1); 
vub= [9;15]; 
[x, fval] = linprog(e, A, b, Aeg, beq, vlb, vub) 
结果 ;x= 9,0000 
0.0000 
fval= 360 

中 只 需 聘 用 9 个 一 级 检验 员 、. 

注 : 本 问题 应 还 有 一 个 约 旧 条 件 : zi, ra 取 整 数 , 故 它 是 一 个 整数 线性 规划 问题 .这 里 把 
它 当 成 一 个 线性 规划 来 解 , 求 得 其 最 优 解 刚好 是 整数 : ry=9, xz，=0, 故 它 就 是 该 整数 规划 
的 最 优 解 . 若 用 线性 规划 解法 求 得 的 最 优 解 不 是 整数 ,将 其 取 整 后 不 一 定 是 相应 整数 规划 的 
最 优 黎 ,这 样 的 禾 数 规划 问题 后 面 有 专门 章节 介绍 . 

例 2.31 某 工厂 要 以 4 种 合金 Ti, Ta, Ty 和 Ts 为 原料 ,经 培 炼 生产 一 种 新 的 不 锈 铜 
怠 . 这 四 种 不 料 含 元 素 筷 (Cr), 镭 (Mnl 和 镍 (Ni) 的 质 基 分 数 ( 单 位 :%)、 单 价 以 及 新 的 不 锈 
钢材 料 G 所 要 求 的 Cr, Mn 和 Ni 的 最 低 质量 分 数 见 表 2.22. 

囊 2,22 


单价 站 元 kg) 


设 熔 炼 时 质量 没有 损耗 , 要 熔炼 成 100kg 不 锈 钢 G, 应 选用 原料 Ti,Tz,Ts 和 T 各 凶 少 
千克 ,使 成 本 最 小 . 
解 ” 设 选用 原料 Tj, Ts, Ts 和 Ts 分 别 为 ri, zz,zi, zx kg, 根 据 条 件 , 可 建立 相应 的 线 
性 规划 模型 : 
min 119zr + 97x2 + 8S2ry + TOx4, 
s.t, 0.03217s +0.045372 + 0.02197; + 0.0176zx4 2 3.20, 
0.0204x1 + 0.0112z2 + 0.0357zx3 +0.0433z > 2.10， 
0.0582x1 + 0.0306z2 + 0.0427r3 + 0.027374 2 4.30, 
1 十 下 2 十 工 3 十 Tz4 = 100, 
Tl 二 2 工 3， X40. 
程序 ， 
c= [115 97 82 76]; 
A=[ -0.0321 -0.0453 -0.0219 ~0.0176 


pr 


3 
Ee 


EDEL Gb LEERLE 


法 


号 


、 妥 号 ， 


~ ' 和- < mtd 
轩辕 国 略 因 国 园 眉 


-0.0204 -0.0112 -0.0357 ~0.0433 
-0.0582 -0.0306 一 0.0427 -0.0273]; 
b=[-3.2; -2,1; ~4.3]; 


Aeq=[1111]; 
beq= {100]; 
vlb= zeros(6,1)s 
vub=|]; 
{x, fval] = iinprog(e, A, b, Aeq, beg, vib, vub) 
结果 
26.5840 
|31.5745 
41.8415 
.0000 
Z=90.5509e+ O03 
这 个 线性 规划 问题 的 最 做 解 是 


I1=26,5840, zz 一 31.5745， zri=41.8415, xz4=0. 
最 低 成 本 为 z =9550.9( 元 ). 


习 题 
1, 用 单纯 形 方 法 解 下 列 钱 性 规划 问题 ; 


(1) min Sr- Sr -2r1- x 
s.t. ES ed, 
4x1 一 Tz2+ X41t 2xesd, 
— x1+ r+2zx3t+3rsEl12, 

TO, j=1,",4. 


(2) min -3r1— xT2 


SB. t. 3T1+ 3c2+ Ty = 0, 
#4 并 1 一 Tt2 + 下 4 三 16, 
2T1 一 定 3 祥 12， 


20， j=1,.,4. 
《3] max x1i+3r2, 
Sst. 2rit+3r2+ x =6, 
-rt+ zx2+ x4=1, 
TO j=1,.,4. 
2, 假设 用 单纯 形 方 法 解 线性 规划 何 明 
mn ex， 
3.14。 六 x 二名， 
x220. ， 
某 次 选 代 中 对 应 变量 x 的 判别 数 本 六 和 旧 单 纯 表 中 相应 的 列 y= Bp; 志 0. 证 明 


是 可 行 域 的 极 方向 .其 中 分 量 1 对 应 去 


3. 设 给 阵 4 非 奇 异 ,C= |x 4x 二 0, x 所 EF"|. 试 证 明 CC 是 闭 凸 集 , 且 原点 怠 是 妃 的 唯一 极点 . 
4. 设 5 是 E" 中 的 非 空 集合 , 试 证 明 S 是 凸 集 的 充 要 条 件 是 :对 每 个 有 之 2, 当 zz ,所 5, 有 


点 
Da 所 与 . 
j=l 
生 
其 中 , 力 节 0 = 1 2 了 N=1, 
j=1 
5, 分 别 用 大 M 法 和 两 阶段 单纯 形 法 求解 


《1 min Zr}+ 14" 3 了 4 
3.tf-。 光一 了 十 374 三 2 
Zz1+ 3 一 3 和 3 十 加 4 二 ， 
工 1 十 irat+ xst x4= ?7, 
zj j=1,.,4. 
(2) max ~3r1+27x21- ry 
3.1. 2I1+ rr- ZAI 
4ri+3ri+ 工 J223 
一 工 1 十 x2+ Ia=2 
Ti Ta TD, 
(3) min 3 -2x 十 文生 
3.t. 27r1 一 3r2z 二 工 3 一 了 
2x1+ 3x2 8, 
十 |， 并 2， 革 4 党 从， 
(4) max 2I1+ 2, 
gt 1 5 
X11 一 X10, 
6rl+2rasSszlL， 
rl X20 
65. 写 出 下 列 不 问题 的 对 个 问 题 
《1》 max dx1— 3x2+ Srs, 
gt. 3x1+ x+Q2rass1S， 
一 Ti+273 一 753 产 3， 
了 1 十 开 3 二 1]， 
Tl: X21 工 3220- 
(2} min 一 4z1 一 St2 一 了 3 十 二 4 
Bt, XI+ 2 十 2X 一 ral, 
2Z1 一 站 十 了 5 十 4 一 3， 


Tl1+TI+ 3x3+2r4= 一 5, 


ep 
fs 


nl 
上 


+ “ 


加 加 图 加 夯 加 


LEEEEL EEEEIEDIE: 


计 


7. 给 定 线性 规划 问题 

min Szxit+21x;, 
Bt x1 TX2+6Or bl, 
Twi+2r1 这 1]， 


Tl Xa XI. 


其 中 ,5 是 某 一 个 正教 ,已 知 这 个 问题 的 一 个 最 优 解 为 (zi z2, z3) = [ 
(1) 写 出 对 侦 问 题 ; 
(2) 求 对 偶 问题 的 最 优 解 
8. 考虑 线性 规划 问题 


6 


mn ex 
S.Tf， 态 二 上 ， 
x 0. 


其 中 , 4 是 mm 阶 村 称 矩 阵 ,eT= .证 明 车 x 个 是 上 述 癌 题 的 可 行 解 , 则 它 也 基 最 优 解 . 
9. 用 对 偶 单 纯 形 法 解 下 询问 题 
(I) max II+ za 

S.t. Ti 一 2 一 Ti=1, 
-XL r+ 2xa1, 
Xl Xt X30. 
(2) max —4r1+3xr2, 
Bt, 村 工 1 十 3T2 十 了 3 一 光一 了 32， 
271 十 rz2- Xxy— .xa=14, 
TO, j=1,.,4. 
10. 考虑 下 列 线性 规划 问题 
max 一 Sr1 十 Szr2 十 Ta 
st. -T+ z+ 3r3s20， 
12z1+4z2 二 10z3S90， 


Tl Is AK, 


先 用 单纯 形 方 法 求 出 上 述 问题 的 最 优 解 , 然后 对 原来 间 题 分 别 进行 下 列 改 变 , 试用 原来 阿 题 的 最 优 表 求 新 


问题 的 最 优 解 : 
(1) 此 标 函数 中 ra 的 系数 c, 由 13 改变 为 8; 
(2) 6 由 20 改变 为 30; 
(3) bz 由 90 改变 为 70; 


-1 0 
【4)》 冲 的 列 | -jx 为 | 时， 
11， 线 性 规划 问题 


(Li) max 2 = 了 ci 
jl 
St ar Et 2 
j=l 
站 了 三 1,2, “9 用。 


已 知 7” = (21 ,和 2 3) 是 其 对 个 问题 的 最 优 甫 ， 
又 设 线 性 规划 问题 


{L2) max Zz 三 Dc, 
j=l 


号 .上 api c 号 + 此: 1 = ,2 ms 
3=l 


Tj 1,.2,…，aa. 
其 中 ,上 是 给 定常 数 . 试 证明 


max?, < maxZl + yo 
i 
12, 某 工厂 用 甲 . 忆 再 三 种 厌 料 生产 A,B,CD 四 种 产品 , 每 种 产品 消耗 原料 定额 以 及 三 种 原料 的 数 
其 见 2.23. 


束 2.23 


对 原料 甲 的 单 耗 /(t 万 忻 ) 
对 原料 乙 的 单 峰 /t+/ 万 件 ) 
对 原料 再 的 单 耗 ALW 方 性 } 
单 亿 产 品 的 利 海 愉 万 元 7 万 忻 ) 


3200 


(1) 求 局 总 利 油 最 大 的 生产 计划 和 按 最 优生 产 计划 生产 时 三 种 原料 的 耗 用 明和 肌 余 策 ; 
《2) 求 四 种 产品 的 利润 在 什么 范围 内 变化 ,最 优生 产 计划 不 会 变化 ; 


(3) 求 三 种 原料 的 影子 价格 和 四 种 产品 的 机 会 成 本 ,并 解释 最 优生 产 计 划 中 有 的 产品 不 安 徘 生产 的 产 


(4) 在 最 优生 产 计 划 下 , 琢 一 种 原料 更 为 紧缺 ? 如果 甲 原料 增加 120r, 这 时 紧缺 程度 是 和 否 有 变化 ? 


“72 


要 襄 和 里加 引 国 四 加 团团 间 四 加 


3.1 非 线性 规划 模型 和 基础 理论 


3.1.1 非 线性 规划 模 昏 


选 址 问题 设 有 := 个 市 场 ,第 ; 个 市 场 的 位 置 为 (a;, 5;), 对 某 种 货物 的 需要 量 为 9j， 
=1,…,n. 现 计划 建立 mm 个 货 栈 ,第 斌 个 货 栈 的 容量 为 ci = 1 ,mm , 试 确定 货 栈 的 位 

置 ,使 各 货 栈 到 各 市 场 的 运输 基 与 路 程 铁 积 之 和 最 小 ， 

现在 来 建立 数学 模型 , 设 第 ;个 货 栈 的 位 置 为 (zi y;), i 一 1,…, m .第 i 个 货 栈 供给 第 
i 个 市 场 量 为 wi, i=1,…,m,j 二 1,…,n. 第 i 个 货 栈 到 第 ; 个 货 栈 的 距离 为 d;, 一 般 定义 
为 

di = | (x, — a) + (Cy — 6):, 
目标 是 使 运输 量 与 路 程 科 积 之 和 最 小 , 即使 
> Dw #4 {ri a)’ t+ (Cy; 一 bY 

最 小 .约束 条 件 是 : 

(1) 每 个 货 栈 向 各 市 场 提供 的 货物 量 之 和 不 能 超过 它 的 容量 ; 

(2) 每 个 市 场 从 各 货 栈 得 到 的 货物 量 之 和 应 等 于 它 的 需要 量 ; 

(3) 运输 量 不 能 为 负数 . 

因此 , 问题 的 数学 模型 为 


min DD) Dlw,y (ri— a) + Cy — 6 ) 


ta jul 


厅 
S.t. Dw 


J=1 


和 2 Wj 
wi 2 0. 
其 中 ,i =1,, msi =1,…,n. 
这 个 模型 中 , 目标 双 数 蚌 非 线性 消 数 , 若 目 标 渗 数 及 约束 条 件 中 至 少 存在 一 个 非 线 福 函 
数 , 则 称 之 为 非 线性 规划 问题 (nonlinear programming problem) , 简 记 为 NLP 问题 . 
一 般 的 非 线性 规划 问题 ,根据 约束 条 件 的 情况 可 分 为 两 种 . 
(1) 无 约束 非 线性 规划 问题 , 即 没有 性 何 约束 条 件 的 非 线性 规划 问题 , 有 时 也 称 之 为 无 


约束 优化 问题 或 简称 为 无 约束 问题 , 常 写 成 
min f(x)}, x 人 EE'. 
其 中 ,了 f(x) 是 定义 在 FE" 上 的 实 噶 数 . 这 个 问题 是 求 六 x) 和 在 = 锥 欧 氏 空间 中 的 极 不 点 . 
(2) 约束 非 线性 规划 问题 , 即 府 少 有 一 个 约 东 条 件 限 制 的 非 线性 规划 问题 ,有 时 也 称 之 
为 约 东 优化 问题 或 简称 为 有 约束 问题 ， 
一 般 而 言 , 约束 非 线性 规划 问题 总 可 以 表示 为 
min f(x), 
st. g(x)E0, i=1,2,.,m, 《3.1.1) 
hitx)=0, 7=1,2,., 4, 
在 进行 理论 讨论 时 , 为 方便 起 见 , 往往 引入 向 十 值 沙 数 
Bx) = (gi(x), ga(x),, gm (x)), 
hx) = ChiCx), halx), ,h(x))T, 


于 是 的 东 非 线 性 规划 又 常常 写 为 
mn f(x), 
s.t,. g(x) 0, 
ntx) = 0. 
或 者 
min f(x), 
s.t. 天 万 六 . 


其 中 ,DD = jzl18gfxr) 扫 四 有 xz) 一 0x € E"|. 

由 于 非 线 性 规划 的 目标 函数 及 约束 茶 件 的 复杂 福 , 现在 还 没有 一 种 算法 能 保证 找到 任 
何 一 个 非 线 性 规划 的 全 局 最 优 解 , 而 往往 只 能 找到 某 个 局 部 最 做 解 ,因此 ,需要 对 全 局 最 忧 
解 及 局 部 最 优 解 分 别 给 出 定义 ， 

定义 3.1 局 部 最 优 解 (local optimal solation) 设 站 是非 线性 规划 问题 (3.1.17 的 可 
行 域 ,x* &€ DD, 若 存在 x' 的 一 个 邻 域 N(x',#), 若 对 任 一 点 xEDNN(x',8), 都 有 
x") 所 F(x), 则 称 x* 是非 线 性 规划 (3.1.1) 的 一 个 局 部 最 优 ( 极 小 ) 解 . 

特别 地 , 若 F(x" )< F(x) 成 立 , 则 称 x* 是 一 个 产 格局 部 最 优 ( 极 小 ) 解 . 

定义 3.2 全 局 量 优 解 (global optimal selution) 设 x" ED, 若 对 DD 中 和 任 - 一 点 x, 都 有 
fx) 夺 f(x), 则 称 x* 是非 线性 规划 (3.1.1) 的 一 个 全 局 最 优 ( 最 小 ) 解 . 


3.1.2 樟 度 与 Hessian 矩阵 


定义 3.3 棉 度 (gradienty 设 = 元 函数 F(x) 在 点 x 可 微 , 则 称 向 量 
V(r) = af(x) re af(x) T 


dx1 ” ”gzuv 
为 苑 数 f(x) 在 点 x 处 的 稀 许 . 
梯度 的 几何 意义 ,如 果 画 数 F(x} 在 点 x 的 梯度 Vf(x) 且 非 零 向 量 ,那么 VF{x) 就 是 
了 f(x) 的 等 值 面 在 点 x 处 的 法 向 基 , 垂直 于 等 值 面 在 点 x 的 切 平面 , 且 指 向 六 xz) 的 函数 值 增 
大 的 方向 ， 
吓人 多 3.4 Hessian 矩阵 (Hessian matrix) 设 xn 元 函数 fx) 在 x 点 二 次 可 微 ,将 f(x) 
在 x 点 的 二 阶 偏 导数 按 如 下 组 成 算 茵 V2f(x), 则 称 Y2F(x) 是 丽 数 f(x) 在 x 点 的 Hessian 


站 


二 
所 


| 


| -= Ey oy ed I El Pa 区 


=> : 


矩阵 ; 
322) PFE) Ff) 


Dr? dr1dI2 EE 
P(x) PAE) ~ PFE) 


V2F(x) = |9z29z1 973 9 x297, 


ax) PFx) | L(x) 
DTnaz1 drdr? 972 
在 不 引起 误解 的 情况 下 ,常常 将 ?2?f(x) 记 为 HCx). 
显然 , 当 f(x) 二 阶 连 续 可 微 时 , 其 Hessian 矩阵 Y2f(X) 是 对 称 扎 阵 . 
设 向 最 活 数 p(x) 的 每 个 分 量 p; 均 为 关于 x 的 可 微 函 数 p,{x), 显然 可 求 每 个 p(X) 的 
梯度 Yaifz) 则 可 定义 美 于 向 量 画 数 p(x) 的 梯度 为 
Pr) = 【本 1) 《3.1.2) 
显然 , (x) 是 一 个 w 阶 方 阵 . 
由 Hessian 和 矩阵 的 定义 可 知 , 函数 f(x) 的 Hessian 矩阵 的 第 ; 列 就 是 f(x) 关 于 x 的 一 


阶 偏 导 2 2( 即 梯度 Cx) 的 第 ;分量 ) 的 梯度 , 因此 , 由 (3.1.2), Hessian 矩阵 又 可 表示 


Var(x) = wCVF(z))， (3.1.3) 
(3.1.3) 揭示 了 Hessiar 矩阵 与 梯度 的 内 在 关系 ,容易 证 明 下 列 结论 成 立 ， 
(1) 设 C 为 常数 向 量 ,0 为 零 矩 阵 , 则 有 


YC = 0; 
(2) 设 +EE”,1 为 n 阶 单位 矩阵 , 则 有 
Vx = 了 


(3) 设 xE 尼 ,pb 为 常数 向 量 , 则 有 
V(bTx) = V(xrTh) = #; 
(4) 设 YE E",O 为 常数 撕 阵 , 则 有 
WOQx) = 0Q; 
145) 设 XE E",Q 为 常数 对 称 定 阵 , 则 有 
VxrTOr) = 20x， 
定义 3.5 方向 导数 (direetionm derivative) 设 了 f(x) 在 点 x 可 微 , d 是 给 定 的 非 零 向 
基 , 如果 极限 


jim F(x+sd)- f(x) 
Py t 


存在 , 则 称 此 极限 为 了 数 (x) 在 点 沿 方向 d 的 方向 导数 ,并 记 为 25()， 
定 文 3.6 下 降 方向 (descent direction) 设 d 为 非 零 向 量 , 着 存在 正 数 。>0, 当 :1E 
《0,E) 时 , 必 有 | 
fxr+ wd)< f(x), 
则 称 方向 4 是 画 数 /(x) 在 点 x 处 的 一 个 下 降 方向 . 
定理 3.1 奶 果 函数 f(z) 在 点 三 洛 方向 4 的 方向 导数 满足 条 件 


af(x) 
5 <0, 


那么 方向 & 必 是 饪 数 了 F(x) 在 点 x 处 的 一 个 下 降 方向 ， 
证 明 ”因为 32) <0， 
所 以 ,存在 >0, 当 0D<i<e 夺 ,有 
f(x + td)— f(x) 0 


里 
故 f(x+tid)< f(r). 
由 下 降 方 向 的 定义 , 可知 # 二 了 (x) 在 点 x* 的 一 个 下 隆 方 向 . 


3.1.3 部 元 范 数 的 Taylor 展 式 


在 最 优化 理论 中 , 常用 的 Tayier 懂 式 有 一 阶 展 式 和 二 阶 展 式 ,每 阶 展 式 都 看 两 种 等 价 
的 表达 式 . 


设 f(x) 在 点 x 存在 一 阶 连 续 偏 导 , 那么 , f(x ) 在 点 x 的 一 阶 Taylor 展开 式 为 
Fx)= Fx) + Yr) T(x- x) to(lx -rl ). (3.1.4) 
其 中 ,ol x 一 x 上 |) 是 变量 上 x 一 x 的 高 阶 无 穷 小 量 . 
由 微分 中 值 定 理 , (3.1.4) 可 等 价 地 表示 为 


Fx)= (x) +t Vf(x) (x x). (3.1.5) 
其 中 ,x = Xx + (1 一 A)x,0 志 A 所 1， 


车 f(x) 在 点 x 处 二 阶 可 微 , 则 可 得 /(x) 在 点 的 二 阶 Taylor 展 式 为 
FO =f7) + YT rE) +) VE + ol | x -zl?). 


(3.1.6) 
同样 , (3.,1.6) 的 等 价 形式 为 
fr)= (x) + VAY) Tr x) + —x)rVviF(x )(tr— x). {3.1.7) 
其 中 ,x =Ax + {1-4A)x,0 过 A 入 1. 
由 一 阶 Tayler 展 式 , 可 推出 如 下 关于 下 降 方 向 的 充分 茶 件 . 


定理 3.2 设 向 量 4 才 0, 函数 (x) 在 点 x 的 梯度 VA(x) 存 在 ,车 Vf(x)'d<0, 则 他 4d 是 
xX) 在 点 x 的 下 降 方 向 . 


证 明 不 失 一 般 性 ,可 设 4 是 单位 向 量 , 由 (3.1.4), 有 
f(xtia)= F(x) + Vx) (Md)+o( ld li) 


=f(x) + V(x) Td +o(t), 
Af) {E+ ed) f(x) 
dd 1 
tb 
= V(r) Td 0. 


由 定理 3.1 可 知 , d 是 了 (x) 在 点 x 的 下 降 方向 ， 
又 , 设 向 最 4 与 YA(x) 之 间 的 夹 角 为 8, 则 有 
vx) d= VAC: Hal cost2— | V(x . (3.1.8) 
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显然 , 当 县 仅 当 8=”,d= 一 W(x), (3.1.8) 左 边 达 到 最 小 值 ,此 时 d 为 负 梯 魔方 向 , 负 
梯度 方向 是 函数 信 ( 在 x 的 邻 域 ) 下 降 最 快 的 方向 . 
通常 ,将 负 梯度 方向 称 为 最 速 干 降 方向 (steepest descent direction). 


3.2 凸 函 数 


3.2.1 山 函 数 的 定义 


定义 3.7 丙 画 数 (eonvex function) 设 活 数 f(x) 为 定义 在 凸 集 中 上 的 # 元 实 函 数 . 
如 困 任 取 了 中 的 两 个 不 同 点 x i, x3, 以 及 4AE€00,1), 都 有 有 
fAxit (IANNISEAFCXD + (1 — A F(x2), 
则 称 六 xz) 是 定义 在 凸 集 D 上 的 上古 通 数 . 
如 果 任 取 中 的 两 个 不 同 点 xi,xz, 以 及 ED0,1) ,都 有 
FArit (Axa) AFCr) + (1 -AFCx2), 
则 称 六 xz) 是 凸 集 D 上 的 严格 是 函数. 
如 果 一 了 为 D 上 的 廿 消 数 , 则 称 上 
为 五 上 的 四 函数 ， 
凸 函数 的 几何 意义 ,可 以 用 图 3.1 机 
所 示 的 一 元 凸 臣 数 来 说明 ,可 以 看 出 ， 当中 z + (l= AF) 2 


了 


f(x2) 


(xz) 是 四 函数 时 , 其 图 像 y= 了 f(x) 上任 MOR 
意 商 点 (zi (x1)), (x2, (x2)) 之 辐 的 pws 0A)nn De 
缴 必 在 连接 这 两 点 的 芭 的 下 方 ， 


例 3.1 一 元 函数 f(x)=|x| 是 EE! 0 Mr 2 
上 的 四 函数 ， 用 3 ， 
解 ”因为 对 于 任意 的 xi， xz E El 


及 每 个 数 4€ (00,1), 均 有 
FAxit Ax)= Ax t (1 — A)xztlEA|xi | + (1— 2A)|x2l 

所 以 ,由 定义 3,7 知 ,F(x)= |x| 为 凸 苑 数 ， 

定理 3.3 设 丫 是 定 久 在 眶 集 史 上 的 凸 阔 数 ,实数 之 0, 则 4f 也 是 定义 在 DD 上 的 吓 函 
数 . 

定理 3.4 设 六 和 fa 是 定 沁 在 西 集 D 上 的 凸 函 数 , 则 六 + 户 也 是 定 祥 在 五 上 的 吓 
戎 数 ， 

推论 设 五 , 天,…, 凤 是 定义 在 凸 集 DD 上 的 凸 画 数 , 实 数 41,42,…, 注 衬 0, 则 

4h 

也 是 定义 在 户 上 的 凸 函数 . 

定义 3.8 ww- 水 平 集 设 f(x) 基 定义 在 鼻 仿 D 上 的 实 阔 数 ,a 是 实数 , 则 称 集合 

S.=|x|xED, f(x)eal 

是 函数 Fx) 的 ae- 水平 集 ， 

定理 3.5 设 吃 是 Er 中 一 个 非 宝 凸 集 ,了 是 定义 在 DD 上 的 西 函 数 ,a 是 一 个 实数 , 则 水 


平 集 5S. = |rlxEeD,Fz) 安 re 是 凸 集 . 


证 明 对 于 任意 的 xxzE 5,, 根 据 5。 的 定义 ,有 jx)y 委 ay Faza) 委 .由 于 卫 为 凸 

集 , 因此 对 每 个 数 XE (0,1), 必 有 
Axi+ (1-A)xs€ED. 
又 由 于 f(x) 是 史上 的 则 录 数 , 则 有 
FAxL+ C1 — A Xa) EA + (1 ~ A F(x2) 
a+(l-A)ar=a. 

因此 x1+ (1 一 A)xzE So, 故 5 为 凸 集 ， 

关于 西 涵 数 的 连续 性 ,不 加 证 明 地 给 出 下 列 结 论 ， 


定理 3.6 设 忆 是 E" 中 一 个 内 部 非 空 的 屿 集 ,了 是 定义 在 D 上 的 凸 函数 , 则 了 在 六 的 
内 部 连续 ， 


值得 注意 的 是 , 凸 函 数 在 定义 域 的 边界 有 可 能 不 连续 ， 
3.2.2 山 函 数 的 判别 


当 冰 教 一 阶 或 二 阶 首 微 时 ,除了 可 以 根据 定义 兰 断 其 是 理 为 凸 (种 ) 画 数 外 ,更 常用 的 办 
法 基 使 用 即将 介绍 的 一 阶 和 二 阶 判别 条 件 .这 些 条 件 中 , 有 的 是 充 要 条 件 , 有 的 仅仅 是 充分 
条 件 ,在 使 用 时 要 注意 条 件 的 性 质 ， 


定理 3.7 曲 沙 数 的 一 阶 充 偶 条 件 ” 设 D 是 E" 中 的 非 空 开 凸 集 , (x) 是 定义 在 DD 上 


的 可 微 函 数 .那么 , f(x) 是 DD 上 的 凸 落 数 的 充 要 条 件 是 :对 D 上 任意 两 个 不 同 点 x1, x;, 恒 
有 


Fx (rn) + VFOxI) T(x2 — x1), (3.2.1) 
证 明 必要 性 任 取 2E(0,1), 则 有 
X11 FALX2™ XI) = Axz2+ (1—- AxiED. 
由 一 阶 Taylor 诬 式 ,有 


Fxitalxs— x = Fx) tAVAxI) (x — x1) + olA), 
而 由 Fx) 是 让 上 的 西 函 数 ,又 有 


FixitA(xa x)) = fAro +t (1 -Ar)EAF( xr) + (1 — A) f(x). 
两 式 联 立 ,有 


Af (xo) tl AF (xr) +t AVACA)T (x2 — x1) + ol4), 
邯 fr) Fx) + Vr) a) + A. 
令 1-=0* , 则 有 ?2 -0, 故 
Flra) F(x) tt VA rt) (x — x1). 
充分 性 ” 任 取 0<4<1, 记 


T=Axit (lA)x. 
由 已 知 条 件 有 


frr) rt VHCx) Tx, — x*), 
frr}+ YA(r) T(r — x). 


图 国 园 好 图 轩辕 
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所 以 (x) PA) +A VACx)Tx x), 


(1~ Fx) ~ AF tA TFT x). 


商 式 相 加 , 并 进行 整理 ,得 

AfCKID HOA FO) BEF) + VF) TA + (1 A) x2 ~ x). 
由 于 X= AX1+ (1 —A)r, 
因此 AFCYD) tO ~ A FF ra F(x) = fxr + (1 -Ars). 
表明 f(x) 是 凸 集 厂 上 的 凸 函 数 ， 


定理 3.7 的 郊 何 意义 : 设 f(xz) 是 一 元 凸 函 数 ， xl xa 是 两 个 不 同 点 ,在 点 (x1, (x1)) 作 
晴 数 y= A(x) 的 图 像 的 切线 ,6 为 该 切线 与 轴 方 向 的 夹 角 ( 见 图 3. 2) .由 一 元 消 数 的 导数 
的 几何 音义 知 

VOX = (x1) = tand. 
从 曲线 y= f(x) 上 的 点 (x2, F(xz)) 向 工 轴 作 垂 线 , 则 有 
k=tand(xa— x) = (Cx) (x — x1), 
fro) x) TRE fr) + fF (x) (x xr). 

由 图 3.2 可 知 ,对 于 西 函 数 , 其 图 像 上 任 一 点 的 ? 
切线 (或 切 平面 ) 完 全 落 在 图像 的 下 方 ,反之 亦 然 ， 

定理 3.8 严格 是 函数 的 一 阶 充 槛 条件 设 门 
是 E" 中 的 非 空 开 凸 集 , ftx) 是 定义 在 D 上 的 可 微 
蓝 教 .那么 , f(x}) 是 万 上 的 严格 凸 函 数 的 充 要 条 件 
是 :对 于 任意 两 个 相 异 点 x1, x€ 吃 ,都 有 

Fx) > FD) + TAI T(x2 ~ x1). 

证 明 充分 性 ”只 需 将 定理 3.7 中 关于 充分 性 

的 证 明 中 的 “六 " 改 为 ">"” 即 可 ， 


y= f(x) 


图 3.2 
必要 性 设 站 xz) 是 严格 凸 函 数 , 则 六 xz) 也 是 凸 
函数 . 对 于 任意 两 个 相 异 点 x1, x2€ DD, 联 
x= 寺 x + 十 > 
2 1 2 2 
则 xED. 
根据 定理 3,7, 必 有 
A 
= f(r) + Vr) (Fr + Dx x1) 
= f(r) + Fr)T 《za — x1)., (3.2.2) 


由 于 f(x) 是 严格 凸 浅 数 , 则 有 


F(x)= /dt 二 xo] < 于 fr) t+) (3.2.3) 
联 立 (3,2,2) 和 {3.2,3), 得 


f(x1) + p(x) > fx1) + VC ) T(x, 一 x1), 
故 Fro) > Fx) + VFx) Tr 一 21)， 


注意 , 由 于 极限 运算 对 严格 不 等 号 不 具备 保 号 性 ,因此 此 处 不 能 套用 定理 3.7 中 关于 必 
去 性 的 证 明 . 
容易 理解 , 若 将 定理 3.7 中 的 “之 " 改 为 " 扫 " ,将 定理 3.8 中 的 " > " 改 为 "< “", 就 是 判断 
包 郴 数 以 及 严格 四 畏 数 的 一 阶 充 要 条 人 性， 
下 面 介绍 判别 函数 号 { 丫 ) 性 的 二 阶 条 件 . 
定理 3.9 凸 函 教 的 二 阶 充 要 条 件 设 喇 是 FE” 中 的 非 空 开 恬 集 , F(x)E C 那么 ， 
f(x) 是 DD 上 上 的 凸 函 数 的 充 要 条 件 是 ; f(x) 在 每 一 点 x 马 DD 处 的 Hessian 短 阵 W(x) 半 正 
定 . 
证 明 充分 性 ” 设 对 任 一 点 x DD, YY(x) 是 半 正 定 矩 阵 . 现任 取 忆 上 两 相 异 点 xl 
xz; 由 Tayior 展 式 ,有 
flxa)= Fx) +t VFX) (x2 xx) + 
其 中 ,x = Axi+ (1 一 A)x2,0&AA1, 
由 于 也 是 贞 集 , 故 xED, 由 已 知 条件 , YF(x) 是 半 正 定 和 矩阵 .于 是 
(x2— x VFX x1) 0, 
所 以 F(x) + VHCx1) (x2 ~ x1), 
根据 定理 3.7, f(x) 是 D 上 的 凸 函 数 . | 


必要 性 ”由 于 D 是 开 集 , 故 对 玉 上 任意 点 x, 以 及 任 一 给 定 的 非 零 何 是 y， 总 本 以 和 到 
充分 小 的 正 数 ,使 得 x+ayEe 了 .由 Taylor 展 式 ， 有 


f(x+ay)= f(x)+A VC) y+ Sy VE)y +ofa2)， 


又 由 于 f(x) 是 D 上 的 廿 省 数 ,由 定理 3.7, 有 
FixtAay)F(xr) tA YA 并， 


因此 Sy VE)y + ot’) 0. 


x2 #3)T VFI x2 #1). 


使 1-r=0+， 则 有 入 20， 则 


py VI) y20, 
所 以 VfF(x) 是 半 正 定 矩阵 . 
对 于 严格 凸 函数 , 存在 如 下 的 二 了 杖 充分 条 件 . 
定理 3,10 严格 西 务 数 的 二 阶 充分 条 忻 ” 设 了 是 瑟 * 中 的 非 空 开 凸 集 , f(x)}E C .如 
果 FLx) 在 每 一 点 xE 卫 ,Hessian 扎 阵 正定 ,那么 , f(x) 是 严格 号 函数 ， 
此 定理 的 证 明 可 仿照 定理 3.9. 特 别 要 注意 的 是 , 逆 定 理 并 不 成 立 . 若 F(x) 时 定义 在 DD 
上 的 严格 凸 函 数 , 则 对 于 每 一 点 x 全 吕 处 ,只 能 保证 Hessian 第 阵 是 半 正 定 的, 而 不 一 定 都 
是 正定 的 . 
枫 3.2 设 x)=x',xE(-o0,+ oo), 任 取 两 相 异 点 x1,x*2, 则 有 
VACx) = (x)=4x,, 
flxz) ~ [fOr +t VA) (ra ~ 1)) 
=x$- xt— 4xi(xa~ x1) 
一 着 和 一 了 XXX 十 rxi+2rixi— dxixs +2x1 


=(xi— xI) +2xf(x1 ~ x2) >0. 
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由 定理 3.8, 知 f(x) 是 严格 山 渗 数 . 

但 是 ,在 x=0 处 ,有 V(x) = 了 (0) =0, 不 是 正定 的 . 

推广 若 f(x) 是 二 次 函数 , 则 当 它 的 Hessian 矩阵 正定 时 , F(x) 必 是 严格 凸 函数 ， 

容易 理解 , 若 将 定理 3.9 中 的 “ 半 正 定 " 改 为 * 半 负 定 ”, 将 定理 3.10 中 的 “正定 ” 改 为 "人 负 
定 ”, 就 得 到 了 关于 凹 函数 的 二 阶 充 要 条 件 以 及 关于 产 格 四 函数 的 二 阶 充 分 条 件 ， 


3.2.3 症 函 数 的 极 值 


定理 3.11 凸 允 孝 在 其 定 文 城 上 的 任 一 极 小 点 都 是 其 在 定义 域 上 的 全 局 极 小 点 , 且 全 
体 极 小 点 的 集合 是 凸 集 ， 

证 明 ( 见 图 3.3) 设 是 五 * 中 的 非 空 开山 集 , F(x) 是 定 
义 在 品 上 的 凸 函 数 .x "是 f(x) 在 上 的 一 个 遍 部 极 小 点 ,由 
局 部 极 小 点 的 定义 ,应 存在 x ' 的 一 个 邻 域 N(x* ,8), 使 得 

Fr FT YxEN(Gr’ ,8)ND. 
现任 取 D 中 一 个 点 y, 由 于 D 是 凸 集 , 故 
A¥+(l~A)x’ ED, 0 二 1 所 1 
县 当 X 志 85/ x” 一 了 上 时 ,满足 
外 xz” 一 [+ 一 AI =x" -yA#, 


即 
y+ (1l— Ax "ENG, ND, 
Fx fA + (1l-A)x"). 
由于 f(x) 是 凸 隆 数 ,又 有 
FAy+ ET — Ax SAF +t (I~ A F(x"), 
因此 fxr AF(F) + (1 -A Fx), 


fx fy. 
所 以 ,x “是 全 局 极 小 点 ， 


又 设 fx) 在 了 上 的 极 小 点 的 集合 为 S, 则 有 
S=|x|f(xr)= f(x ),xEDI. 
记 f(x*")=a, 划 
号 = 号， 
即 S 是 A(x) 的 -水 平 集 , 由 定理 3.5, 可知 S 是 凸 集 , 
定理 3.12 同 画 数 极 小 点 的 充 和 妇 条 御 ” 设 也 是 E” 中 的 非 空 开 凸 集 , F(x) 是 定义 在 DD 
上 的 凸 函 数 , 且 在 点 x* ED 存在 梯 讼 WY(x"). 如 果 对 于 任意 点 xED, 客 有 
V(x ) T(x-r’)0, 
那么 x ' 必 是 f(x) 在 DP 上 的 全 局 极 小 点 ， 
证 明 因为 ftx) 是 DP 上 的 西 函数 ,由 定理 3.7, 对 于 任 党 点 xED, 均 应 有 
fxr) f(r +t VFI ) Tr"). 
亲 已 知 
VHCx) Tx x" )0, 
所 以 FE) VYxED, 
推 失 “可 徽 凸 函数 的 任 一 驻 点 都 是 全 局 极 小 点 . 


图 3.4 给 出 了 定理 3.12 的 几何 解释 . 
设 x* 为 也 的 边界 点 ,F(x *) 非 党 ,对 D 上 所 有 点 x, 都 
有 Vx) 
， VCz (x ~ x 2, 
表明 梯度 必 (x * ) 与 向 量 x - x “的 夹 角 6 为 锐角 或 直角 , 稀 
度 W(x*) 指 向 DD 的 内 部 .车 以 于 (x" ) 为 法 向 量 作 一 条 过 
x "点 的 直线 (或 平面 )r, 则 D 将 完全 落 在 x 的 同一 便 , 表明 “AS 
f 是 万 在 xz” 点 的 切线 ! 切 平面 FJ= es 所 
显然 ,x 也 是 函数 /(x) 的 等 值 线 ( 面 ) 在 点 x "的 切线 ( 切 
平面 ), 所 以 表明 f(x) 的 等 值 线 ( 面 ) 与 D 在 x* 点 相 切 . 且 由 图 3.4 


W(x ) 指 向 忆 1 的 内 部 ,所 以 x“ 是 f(x) 在 DD 上 的 全 局 极 小 点 . 


3.2.4 凸 规 划 (convex programming} 


考虑 如 下 的 非 线 性 规划 问题 ， 
min f(x), 
st, gx)EO0, i=1,2,..,m, 
hx)=0, j=1,2,.,1. 
其 由, Fr) 及 g(x) ,t= 二 1,2,…,m 都 是 E” 上 的 廿 洒 数 ,h(x) 是 线性 涓 数 , 则 这 样 的 问题 
为 凸 规划 阿 题 . 
暴 然 , 若 记 玛 规 划 的 可 行 域 为 
D=ix|g(x)E0, =1,2,., mih(x)=0,7=1,2,., 4}, 
则 PD 必定 是 凸 集 .其 证 明 如 下 . 
证 明 记 D:= |xi g(x)E0, 7=1,2,.,m}, 
则 Di 是 是 函数 g(x) 的 0- 水 平 集 , 因 而 DD; 是 凸 集 . 
线性 函数 户 (xz) 归 是 凸 苹 数 又 是 四 函数 , 记 
D;= |xlh(x)=0,j7=1,2,.,7|, 
同 理 , Pi 是 凸 函 数 (x) 的 0- 水 平 集 , 因 而 记 ; 也 是 西 集 . 万 是 症 + 个 西 集 的 交 , 因 此 也 是 
凸 集 . 
由 于 凸 规划 可 视 为 求 凸 函数 六 xz) 在 其 定 尽 域 D 上 的 极 小 点 问题 ,由 此 可 断言 ， 
(1) 凸 规划 的 任 一 驻 点 是 极 小 点 
(2) 凸 规划 的 任 一 极 小 点 是 全 局 最 小 点 . 


3.3 最 优 性 条 件 


本 节 将 研究 非 线性 规划 的 最 优 解 所 满足 的 必要 条 件 和 充分 条 件 . 这 些 条 件 十 分 重要 , 将 
为 各 种 算法 的 推导 和 分 析 提 供 不 可 或 缺 的 理论 基础 . 


3.3.1 学 约 来 问题 的 最 优 性 条 件 
考虑 无 约束 非 线 性 规划 问题 : 
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minf{x), xEE”". 
其 中 , ftx) 是 定义 在 KE" 上 的 实 函 数 . 
作为 一 元 函数 级 信条 件 的 自然 推广 ,有 如 下 的 一 阶 必 要 条 件 . 
定理 3.13 无 约 东 极 小 点 的 一 阶 避 要 条 件 ” 设 函数 f(x) 在 点 x 可 微 . 若 x 是 A(x) 的 
匹 约 东 局 部 极 小 点 , 则 必 有 梯度 W(x)=0. 
证 明 用 反 证 法 . 设 W(x) 关 0, 令 方 旬 4= 一 W(x), 则 有 
Vx Ta = ~ VAOXOT VFCOR)) = = | YF <0. 
根据 定理 3,2, 必 存 在 >0, 使 得 当 1€(0,5) 时 ,有 
flx trid) < fr). 
这 与 x 是 局 部 极 小 点 下 医 . 所 以 假设 不 成 立 , Vf(Cx)=0. 
| 定理 3.14 无 约束 极 小 点 的 二 阶 必 莫 条 件 设 F(x) 在 x 处 二 次 可 微 ,x 是 了 F(x) 的 无 
约束 局 部 极 小 点 , 则 必 有 (x)= 人 Dj 且 (x) 在 x 的 Hessian 和 阵 V2A(F) 半 正定 . 
证 明 因为 x 是 F(x) 的 无 约束 局 部 极 小 点 , 破 对 尾音 非 零 向 最 ,存在 充分 小 的 正 数 
t ,使 
(+ 二) 阅 PXT)， 
由 二 阶 Taylor 屡 式 , 可 得 
flxtid)}= f(x)+! V(x) Ta+tdr V(r)d +oft2). 
叉 由 定理 3,13, 知 
v(x)=0. 
因此 FtdT VE)d + olt)>0, 
aTV2f(F)d + 70. 
令 4 一 0, 有 2 0, 有 


dTY2FCX]4320， 
表明 Hessian 矩阵 Y“*Ffx) 半 正定 ， 
为 深入 讨论 无 约束 极 小 点 的 充分 杀 件 , 先 不 加 证 明 吕 引入 有 关 正 定 息 阵 的 引 理 ， 


引 理 3.1 设 08 是 n 阶 对 称 正定 矩阵 ,41,A; 分 别 是 它 的 最 小 特征 值 和 最 大 特征 值 . 则 

对 于 任意 的 n 元 单位 向 量 d, 都 有 
NSdTQE < 

定理 3.15 严 糙 无 约束 局 部 极 小 点 充分 条 忻 设 f(x) 在 x 处 二 次 可 微 ,车 梯度 
VACx)=0, 且 f(x) 在 x 的 Hessian 矩阵 VY2zf(z) 正 定 , 则 可 断言 了 是 严格 局 部 极 小 点 . 

证 明 因为 Vf(x) 是 正定 矩阵 , 设 其 最 小 特征 根 为 4, 则 必 有 >0. 由 引 理 3.1, 对 任 
意 n 元 单位 向 量 d ,都 有 

dvif(x)d>A>0. 

由 于 守 (x)=0, 代 入 Taylor 展 式 ,有 


A(3+ 吉 ) 一 (ED)=e VE) Td ta V(r)d + olt?) 


= 六 PadTVY2F(Z)d+ofi2) 


> 了 2 + 0o(22). 
存在 充分 小 的 正 数 8, 当 0<i<<5, 有 
o(t2) 


£2 


1 
< 


故 + ot2) >0. 

取 x 的 8 邻 域 N(x,5), 当 0<i<8, 上 di = 寺 , 有 

(+ tid) f(x) >0, 

所 以 x 是 了 (x) 的 元 约束 严格 局 部 极 小 点 . 

需要 强调 的 是 ,如 果 将 定理 3.15 中 的 条 件 “Hessian 矩阵 VY ?F(x) 正 定 " 减 弱 为 半 正 定 ， 
并 不 能 相应 得 出 x 是 ( 非 严格 ) 极 小 点 的 结论 ， 

另外 , 由 例 3.2 可 知 , 虽然 x =1 是 图 数 f(x) = xf* 的 极 小 点 ,但 该 点 的 Hessian 矩阵 并 
非 正 定 的 .这 一 反例 表明 , Hessian 矩阵 正定 并 不 是 极 小 点 的 必要 色 件 . 

前 面 的 及 个 定理 分 别 给 出 无 约束 极 值 的 必要 条 件 和 充分 条 件 , 这 些 条 件 都 不 是 充 要 条 
件 , 而 且 箭 用 这 些 条 件 只 能 研究 局 部 极 小 点 .下 面 在 函数 的 凸 性 假设 中 , 给 出 全 局 极 少 点 的 
充 要 条 件 . 

定理 3.16 设 (x) 是 定义 在 玖 * 上 的 可 短 凸 函数 ,<E 忆 ", 则 Y 为 全 局 极 小 点 的 充 要 
条 件 是 W(x)=0. 

证 明 必要 性 车 x 是 全 局 极 小 点 ,自然 是 局 部 极 小 点 , 由 定理 3.13 可 知 

Vr(x)=0. 
克 分 性 ” 设 守 (x)=0, 则 对 任意 的 xE E”, 有 
VACx}Tx ~-x)=0. 
由 于 f(x) 蚌 可 微 凸 函数 ,根据 定理 3.7, 有 
fxr + VF x (xx) = f(r), 

即 x* 是 金 局 极 小 点 ， 

在 上 述 定理 中 ,如 果 F(x) 是 严格 是 函数 , 则 全 局 极 小 点 是 唯一 的 ， 

土 面 介绍 的 几 个 极 值 条件 ,是 针对 级 小 化 问题 给 出 的 ,对 于 极 大 化 问题 ,可 以 给 出 类 俯 
的 定理 . 

例 3.3 利用 极 值 条 件 解 下 列 问题 : 


王 避 


min f(x)= 3 
解 ”根据 f(x) 的 定义 有 


令 凶 [x)=0, 即 


和 解 此 方程 组 ,得 到 驻 点 


| BEEREL EEEE EEE EDLLE 


-1 —1 
xm=| |， ro=| x =| |， co-| | 
0 2 0 2 


函数 f(x) 的 Hessian 矩阵 


v2r( ) = 2I1 0 | 

A 2x,-2) 

由 此 可 知 ,在 点 xxe x 人 ,x 中 处 的 Hessian 矩阵 依次 为 
vie)= [2 中 ， 
vic)= | 中 ， 
vem 
co 


由 于 矩阵 Y2fxt0),Y2F(xtb) 不 定 ,根据 定理 3.14, x 人 和 x( 不 是 极 小 点 . 惩 阵 
V2f(xr0) 负 定 ,因此 x 人 3 也 不 是 极 小 点 ,实际 上 它 是 极 大 点 . 短 阵 了 :f(x 人 2 ) 正 定 ,根据 定理 
3.15, x 是 严格 局 部 极 小 点 . 

例 3.4 利用 极 值 条 件 解 下 列 问题 ， 

min f(x)}= (xi~1)+ rit ri-2r. 


解 根据 f(x) 的 定义 有 


令 W(xz)=0, 即 
47i—2zx1—2=0, 
人 
解 此 方程 组 , 得 到 驻 点 
X= (ri, x2) = (1,0). 
再 利用 极 慎 条 忻 判断 x 是 否 为 极 小 点 . 密 于 目标 函数 的 Hessian 抢 阵 为 


12x1-2 0 
f(x) 0 ) 


由 此 可 知 Var(Z) = | 机 | 
显然 827(E) 为 正定 矩阵 ,根据 定理 3.15, 驻 点 元 = (1,0)7 是 局 都 极 小 点 . 


为 了 对 无 约束 极 小 点 有 更 直观 的 理解 , 以 助 于 以 后 对 算法 的 理解 ,将 进一步 讨论 函数 
flx) 在 极 小 点 及 其 附近 的 等 值 线 ( 面 ) 的 几何 特征 . 

定理 3.17 序数 在 无 约束 极 小 点 附近 的 等 值 而 族 是 近似 的 犹 球 族 . 

证 明 设 Y 是 了 (x) 的 无 约束 航 小 点 , f(x)=c 是 充分 蔡 近 x 的 一 个 等 值 面 ,显然 ， 


因为 x 是 /xz) 的 无 约束 极 小 点 ,所 以 YIz)=0VY2z) 半 正定 .起 Taylor 展 式 ,有 
flx)= f(x) + YA(E)TCz -ED)+ 二 (zx —- x) viftx) x- x)+to(lxr—xl*), 
略 去 式 中 的 高 阶 无 穷 小 项 ,注意 到 中 (xz) = 四 有 
Ff(F) + TV (x 7), 
即 近 似 地 有 
x2)T VE = fx) fF) = 6 f(x)>0. 


由 于 V2(x) 半 严 定 , 根 据 解 析 几 何 知 道 , 上 式 是 以 x 为 中 心 的 椭 球 面 方程 . 
这 一 结论 具有 普遍 的 意义 ,如 果 罩 一 下 地 图 上 的 等 高 线 ( 即 地 面 海拔 高 度 的 等 值 线 ), 可 
以 发 现 ,在 山峰 顶 ( 局 部 最高 点 ) 及 谷底 (局 部 最 低 点 ) 的 附近 , 等 高 线 是 近似 的 椭 圈 ， 


3.3.2 约束 问题 的 最 优 性 亲 件 


考虑 约束 非 线性 规划 问题 
min Ax), 
st, EiCX)EDO, i=1,2,.,m, {3.3.1) 
h(x)=0, j=1,2,.",1. 
其 可 行 域 记 为 DD. 


定义 3.9 关于 点 x 的 积极 (active) 约 东 ” 设 x 是 同 题 (3.3.1) 的 可 行 点 , 车 对 某 个 i 
有 gtx) =0, 则 称 相应 的 约束 g;(x) 志 0 是 关于 点 x 的 积极 约束 ,或 称 之 为 在 点 x 处 起 作 
用 的 约束 ; 若 满 足 g;(x) 之 0, 则 称 相应 的 约束 为 关于 点 x 的 不 积极 (inaetive) 约 束 ,或 称 之 为 
在 点 x 处 不 起 作用 的 约束 . 

显然 ,对 于 可 行 点 , 任 一 -等 式 约 来 均 为 积极 约束 . 

积极 约束 在 x 的 邻 域 限 制 了 可 行 点 的 范围 , 也 就 是 说 , 当 点 洪 着 茜 些 方向 稍微 偏离 x 
时 , 仍 能 满足 这 些 约束 条 件 , 而 沿 荐 另 一 些 方向 离开 x 时 ,不 论 步 长 多 么 小 ,都 将 违背 这 些 
约束 条 件 . 对 于 不 积极 约束 ,情形 则 不 同 , 当 点 稍微 离开 x 时 , 不 论 沿 着 什么 方向 , 都 不 会 违 
背 这 些 约 柬 . 

研究 在 一 点 处 的 可 行 方向 对 , 只 需 考 虑 在 这 一 点 的 积极 约束 ,可 以 暂时 不 管 那些 不 积极 
约束 ， 

定义 3.10 可 行 方向 (feasible direction》 设 DD 是 可 行 域 ,点 XED. 车 对 某 个 给 定 的 
非 零 向 量 4 , 存在 正 数 s >0, 使 得 当 :为 小 于 e 的 正 数 时 ,都 有 

+++ 横 全， 0 委 : 委 e， 

出 称 a 是 可 行 域 户 的 从 x 出 发 的 一 个 可 行 方向 . 

图 3.5 中 显示 了 可 行 域 D 关于 x 的 2 个 可 行 方 向 di, ds 以 及 关于 点 x 的 不 可 行 方向 
33, 在 讨论 可 行 方向 时 , 还 常常 涉及 锥 的 概念 . 

定义 3.11 办 设 $ 是 一 个 非 空 集合 ,xES. 如 果 对 于 向 量 4, 只 要 有 x+dES, 就 必 
有 

x+1HMES, Yi0, 

则 称 集 合 5S 是 一 个 锥 ,而 称 点 x 为 S 的 项 点 . 
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容易 证 明 ,从 同一 点 x 出 发 的 所 有 可 行 方向 向 量 的 集 由 
合 是 一 个 顶点 为 x 的 锥 ,这 个 惟 称 为 点 衬 的 醋 行 方向 锥 .可 
行 方向 锥 的 几何 解释 如 图 3.6 所 示 . 设 只 是 可 行 域 ,xED，. 
di, das 是 D 的 两 条 边界 曲线 在 x 处 的 切 向 量 , 则 以 x 为 出 
发 点 ,向 量 @i,4d2 张 成 一 个 顶点 为 x 的 锥 ,这 个 锻 中 除了 形 NA_ 
如 向 量 sd1, td; 以 外 所 有 向 量 都 是 x 点 的 可 行 方向 .显然 ， “上 
从 上 述 的 锥 中 去 掉 向 量 地, ta 人 >0) 以 后 仍 是 一 个 锥 , 即 图 3.5 
x 处 的 可 行 方向 锥 ， 
3.3.2,1 等 式 约束 问题 的 最 优 性 条 件 
设 等 式 约束 问题 为 
min F(x), 
St. hx)=0, 于 = 二,2 
首先 不 加 证 明 地 引入 Lagrange 定理 . 
定理 3. 18 Lagrange 定理 设 是 问题 (3.3.2) 的 局 部 极 小 
点 , Fr) 以 及 h(x)(i7 二 1,2,…, 1) 在 x 的 令 域 连续 可 微 , 且 所 有 等 
式 约 束 函 数 在 x 的 梯度 Wh1(x),…, 鸣 ,(x) 线 性 无 关 , 那么 ,存在 i 
个 数 ,1,…, 使 得 


{3.3.2) 


W(x) + 3 h(xX) = 0. (3.3.3) 


Lagrange 定理 实质 是 将 等 式 约束 问题 转化 为 无 约束 问题 来 处 理 . 引入 定义 在 n+! 维 
向 量 空 间 上 的 Lagrange 函数 


了 (zhe) = f(x) + Mi) 


如 果 x 是 Lagrange 育 数 的 无 约束 极 小 点 , 则 Lagrange 函数 L(x,4) 在 {x， 4) 的 梯度 应 

为 症 + 维 的 零 向 蜡 . 
- -、 |SLIx, AN 9 
ved- [er -| 

其 中 ,1 = (1 加) 是 Lagrange 霖 子 , 广 意 到 
| = W(x) + >)VA(z) = 


WL(xX A) = hx) = 0. 
即 得 Lagrange 定理 中 的 必要 条 件 . 

由 于 (3, 3, 3) 仅 仅 是 等 式 约 束 问 题 极 小 点 的 一 个 必要 条 件 , 因此 , 当 找 到 了 满足 
Lagrange 条 件 (3.3.3) 的 点 x 之 后 ， 还 应 结合 其 他 条 件 才 能 判断 x 是 否 真 为 极 小 点 .下 面 不 
加 证 明 地 给 出 兰 断 严格 局 部 极 小 点 的 充分 条 件 . 

定理 3. 19 ”Lagrange 充分 条 件 ”如果 在 等 式 约束 问题 (3.3.2) 中 , 点 x 满足 如 下 三 个 
条 件 : 

《1) 六 xx) Ri) 为 下 "中 的 二 次 连续 可 微 函 数 ; 

(2) 存在 AEE', 使 并 (x,%)=0; 

{3) 对 E" 中 的 非 零 向 量 4, 如果 有 


diVAa (x)=0, j=1,2,°,1, 
必 有 
divViL(x,aA)d >0, 
则 x 是 严格 局 部 极 小 点 ， 
例 3.5 应 用 Lagrange 条 件 求解 ， 
min f(x)= ~ IIx 
s.t. x1it+zx2-1=0. 


解 “ 先 构造 Lagrange 函数 ,得 


了 (xz X24)= — Ti1X2+ AtXL+ zx2 1), 
aL 

二 过 一 一 + 

axl 并立 As 

3L __ 

dr2 1 十 A， 

aL 


a =x1+x2-1. 


命 开 (I1, 工 2,4)=0, 得 


5 2= 士 ，1 = 了 
下 面 再 验证 Lagrange 充分 条 件 是 否 满 足 ,经 计算 ,有 
PL_0 PL ， PL _ Lp. 
grt "dry "Or2071 72 
vizuvznD)=| 中 
误 非 等 向 量 d = (di, da) 满足 
diVh(x)=0., 
因为 h(x)=x1+ x2—1, 
V(x)= (1,1)7. 


， 1 
所 以 Caan =0, 


好 1 三 一 0 


diV? L{r, x2,A)d -aa 一 1 sla 


= ~2did:=2di>0. 
表明 ,点 并 =| 二 ,十 ] 满 尼 严 格 极 小 点 的 充分 条 件 ,因而 是 原 同 题 的 严格 局 部 极 小 点 . 
3.3.,2.2 不 等 式 约 束 问 题 的 景 优 性 条 件 
庶 癌 题 为 
mn f(x), 
st. g(x)E0, i=1,2,.",m. 
为 讨论 方便 , 先 引 入 几 个 记号 : 


{3.3.4) 


,88 .| 


因 固 回国 国 加 他 回回 固 因 到 日 留 半 名 加 回国 甘 回 


D= ixr|lg(x)0,i=1,2,.., m|, 

TI=|ilgi(tx)=0,i=1,2,.…,m|, 

S=|dila 是 DD 的 从 x 出 发 的 可 行 方 向 !， 

Fo= {dl V(r) Td<0, dE E"). 
其 中 ,DD 是 可 行 域 , x ED 是 可 行 点 ,就 是 关于 可 行 点 的 积极 约束 的 下 标的 集合 , 5 就 是 顶 
点 在 x 的 可 行 方向 锥 , Fo 的 元 素 全 部 是 f(x) 在 x 点 的 下 降 方 向 ,但 不 一 定 包含 了 全 部 下 降 
上 方向 ,因为 与 目标 函数 的 梯度 正 交 的 方向 也 有 可 能 是 下 降 方 启 . 

定理 3.20 几何 最 优 性 条 件 ” 设 在 木 等 式 约束 问题 (3.3.4) 中 ,目标 函数 F(x) 可 微 ， 

且 x 是 局 部 极 小 点 , 则 有 有 
FNSs=¢@. 
证 明 车 Fo 站 S 关 名 , 则 存在 非 零 向 最 4, 使 
二 全 Fo 门 S. 
因为 4EFo 故 YIxya<0,d 是 A(x) 在 x 的 下 颖 方向 ,于 是 存在 正 数 e1>0, 当 :El(0,ei) 
时 ,有 
fxr+id)< fx), 
且 dES, 故 有 D 往 x 的 可 行 方向 . 存 竹 正 数 ee,，>0, 当 1 名 (0,s2) 时 ,有 
x+idED. 
现 占 =minfe1; #21, 则 当 EC0,#) 时 ,同时 满足 
x+t+idED, 
flx td) Fx), 
表明 * 不 是 原 问 题 的 局 部 极 小 点 , 与 已 知 条 件 相 矛盾 .所 以 必 有 
Fo 门 S= 从 . 

玫 何 最 优 性 条 件 是 不 等 式 约 束 条 件 下 极 小 专 的 必要 条 件 . 现 以 二 维 情形 为 例 说 明 几 何 
最 优 竹 条 件 的 几何 解释 . 

在 图 3.7 中 ,x 是 可 行 点 , S 是 以 x 为 项 点 的 锥 (这 个 锥 四 向 量 ai, dz 生成 ) .目标 函 数 
f(x) 在 x 的 负 梯 度 方 向 措 向 DD 的 外 部 ,过 x 作 与 -YX) 正 交 的 直线 工 ,以 该 查 线 工 为 漠 
的 堪 半 平面 (不 包括 直线 工 ) 即 集合 Fo, 显然, 当 x 是 极 小 点 时 ,从 x 出 发 的 尾 一 向 所 都 不 
可 能 距 落 在 Fo 内 又 同时 落 在 S 内 . 

由 于 可 行 方向 集 S 不 一 定 可 以 写 出 明确 的 表达 式 , 因而 
几何 最 优 性 条 件 在 使 用 上 时 本 太 方 便 , 但 是 ,如果 约束 函数 g， 
《2 ) 是 可 微 的 ,那么 可 以 利用 约 昌 阔 数 的 梯度 来 寻找 可 行 方 vw 
向 一 

定理 3.21 可行 方 向 徇 充 分 条 忻 ” 设 x 是 不 等 式 约 束 
问题 (3.3.4) 的 可 行 点 ,了 是 关于 点 x 的 积极 约束 的 指标 集 ， 
且 当 iEIT 时, g(x) 在 x 可 微 ; 当 i&1, g(x) 在 x 连续, 如果 
对 所 有 的 i:E€1, 都 有 

Ve(x) rd<0, iET, 
则 d 是 可 行 域 DD 在 点 x 的 可 行 方向 . 
证 明 由 多:(x)1'q<0,iET, 有 4d 是 函数 gj(x) 在 点 x 的 下 降 方 向 , i ET. 因 此 存在 


Ei 0, 当 上 Et0ei) 时 ,有 
gi(x+id)<g(x)=0, iElI, 
而 当 ;上 工时 ,由 工 的 定义 , 知 
gx) DO, 在 了 ， 
因为 gj(z) 在 x 处 连续 ,所 以 存在 ei>0, 当 上 E(0,si) 时 ,好 有 
gi(x+id)<0, iI, 
联 e=min]el, ez Em}; 则 当 z 纪 (0,e) 时 ,有 
gi(x + <0, i=1,2,.,m. 
由 可 行 方向 的 定义 , d 是 x 点 的 可 行 方向 . 
引入 记号 
So= dl W(x} Td <0, iET. 
定理 3.22 设 点 x 是 不 等 式 约 此 问题 (3.3,4) 的 局 部 极 小 点 , f(x), g(x)(iE1) 在 x 
可 微 , 且 当 i 态 T, g(x) 在 x 连续 , 则 必 有 
So Fo=@. 
证 明 显然 , SoC$, 而 由 定理 3,20, 有 Fo 站 $= 名 .所 以 
Fo 门 So= @. 
定理 3.23 Fritz John 定理 设 x 是 不 等 式 约束 问题 (3.3.4) 的 饥 部 极 小 点 , f(x )， 
gi(x){iE 中 在 x 可 微 ,是 对 i 态 T, gy(x) 在 x 连续 ,那么 ,存在 不 全 为 堆 的 数 w0, wi( i E17)， 
使 得 


uov(x) + Sur Bix) = i= 1,2,.",m, 
1 


ug, 20. 
Ey Ei 不 全 为 零 ， iEI 
特别 地 ,车 所 有 的 g;(x) 在 x 处 可 微 , 则 有 


uo (x) + Du WilE) = 0, i= 1,2,.,m, 


wiBix) = 0, = 1,2,.,m, 
wos ti 72 0, 
tos Ui 个 全 为 零 ， 主 = 1,2,'… ,1 . 
延明 ”因为 xx 是 极 小 点 ,由 定理 3.22, 有 Fo 门 $So= 人 ,有 即 不 存在 向 量 4 ,使 下 列 两 式 同 
时 成 立 ; 
Wx) Td<0, 
(rT) id <0, iET, 
现 以 六 (x) 1 第:(x)T(iE 了) 为 行 向 量 构 造 答 阵 4 , 则 不 可 能 存在 向 量 d ,使 得 
Ad<0, dEE". 
由 Gorden 定理 , 必 存 在 非 零 向 量 g, 司 得 
ATw =0, ue0. 
记 & 的 分 量 为 wo, ni(iET), 和 将 上 式 展开 , 即 得 


贺 国 辕 风 图 加 图 


ee 
md 


号 
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uo (x) + Pu ir) = 0, 
uor ai zz20， iElI, 
uo, ui 不 全 为 替 ， i E 了 . 
特别 地 ,车 当 i 各 I 时 ,也 有 g(x) 在 x 处 可 微 , 则 可 令 
' wu: = 人 0,， i 态 I. 
由 gi:(x)=0,iE1, 有 


uo WE) + Diu WF) = 人 


邑 得 uigi(x) =0, i=1,2,., 说 ， 
ug: Ui20, i=1,2,*"", Wi, 
Hos Hi 不 全 为 零 ， 


通常 ,也 称 wo, 1，…, tn 为 Lagrange 科 子 , 称 表达 式 “ugifz)y= 人 为 互补 松弛 条 件 , 称 
Frits John 定理 所 推出 的 必要 条 件 为 Fritz John 条 件 , 而 把 满足 Fritz John 条 件 的 点 称 为 
Fritz John 点 ， 


钢 3.6 给 定 非 线性 规划 间 题 ， 
min A(x)}= - x2; 
St, gxX)=271- (2~ xz) 0, 
Er) = 一 0. 
验证 在 点 x = (0,2) 并 处 Fritz John 条 件 成 立 . 
在 点 = (0,2)T 外 ,两 个 约束 都 是 积极 约束 .目标 梢 名 及 约束 淆 数 的 梯度 分 别 为 


V(x) = Da- 人 
有 lo el ol=lol, 
基 的 
ug=0. 


解 此 方程 组 ,得 到 
{wo His 42) = (0, &,2k), 
可 取 任 何 正 数 , 因 此 在 x 处 Fritz Jonn 条 件 成 立 . 

例 3.6 阁 明 ,运用 Fritz John 条 件 时 ,可 能 出 现 wo = 的 情形 .这 时 ,Fritz John 条 件 中 便 
失去 了 W(x), 而 没有 上 且 标 旷 数 的 任何 信息 ,只 是 把 积极 约束 的 梯度 组 合成 零 向 量 . 这样 的 
条 件 , 对 于 描述 问题 的 解 ,没有 多少 价值 .有 应 用 价 信 的 是 ro 天 0 的 情形 ,为 保证 wo 隆 0, 还 
需要 对 约束 施加 基 种 限制 , 这 种 限制 条 件 通 常 称 为 约束 规 阁 {constraint qualificationy ,在 定 
理 3.23 中 , 邵 困 增加 积极 约束 的 梯度 线性 元 关 的 约束 规格 , 则 给 出 不 等 式 约 束 间 题 的 著名 
的 Kubhn-Tucker 条 件 . 

定理 3.24 Kahn-Tucker 家 理 设 x 是 不 等 式 约 东 问题 (3.3.4) 的 局 部 极 小 点 , F(x)， 
gitx)(iET) 在 x 处 可 微 , 且 当 i 夸 T 时 , g(x) 在 x 处 连续 ,如 果 对 于 icE 了 向量 组 妥 | (7 》， 
iE 线性 无 关 , 那 么 存在 数 te 了 ), 使 得 


(x) + Du Bx) = 小 
MW 名 | {3.3.5) 


ui0, iETI. 
特别 地 ,着 当 ;和 工时 ,也 有 g(x) 在 x 处 可 微 , 则 有 
FE) + HW) =0, 
ug: (x) = i= 1,2,."…,m, (3.3.6) 
ui 0, i= 1,2,.,m. 
证 明 ”根据 定理 3,23, 存 在 不 全 为 零 的 数 wo0, wi(iET), 使 得 
az) 十 2 Bik) 一 小 . 
显 热 , wo 关 0. 车 20 一 们 ， 则 有 
Wil) = 0. 
由 于 向 量 组 吻 ;(z) 线 性 无 关 , 则 必 有 ai =0(iET) ,这 与 Fritz Jobn 条 件 相 矛盾 , 故 (3.3.5) 
成 立 . 同 理 可 证 , {3.3.6) 成 立 . 
Kuhn-Tucker 定理 简称 为 K-T 定理 , 称 所 导出 的 有 关 极 小 点 的 必要 条 件 为 K-T 条 件 ， 
满足 K-T 条件 的 点 称 为 K-T 点 . 
K-T 条 件 (3.3.5) 等 价 于 
上 = Dur Yelx), 
ui 六 0， i Ee I. 


表明 目标 函数 f(z) 在 x 处 的 负 梯 诬 落 在 积极 约束 在 x 处 的 梯度 所 生成 的 外 时 (顶点 在 x). 
侧 3.7 给 定 非 线性 规划 问题 


min {x1—2)*+ 22, 


s.t， 一 工 L + < 妇 0， 
Xx1™ 0. 
验证 下列 两 点 
0 1 
el 
是 否 为 K-T 点 . 
解 记 f(x)=(x1- 2) + 23, 
je — Xx1+ x 
BR2(X)= x1 — x2. 
县 标 亢 数 和 约束 函数 的 梯度 是 


| -| | 1 


对 于 xz -= 上 ,在 这 一 点 , g1(x) 志 0 和 ga(x)<<0 都 是 积极 约束 , 目标 函数 和 约束 函数 的 
梯度 分 别 是 


点 
。 


填 


四 


7 二 
wh 
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_| 一 4 o)=| (1) -| 1 
Tm) -| 人 ,wxo)- z 中 ,wze=| 小 
且 史 x 人), 中 ;C(x 个 ) 线 性 无 关 ， 


[rll 
0 0 -1 0 
即 一 4 一 ai+ w=0, 
| ~ uz=0, 
解 此 方程 组 ,得 
#1 二 一 4, tz=0. 


由 于 xi<0, 因 此 x 中 不 是 K-T 点 ， 


对 于 zt) = 中 ,在 点 x 中, gi(x) 志 0 和 gz2(x) 所 0 都 是 积极 约束 ,目标 函数 和 约束 浅 
数 的 梯度 分 别 为 


gzeD=| 3 ,We ) =| 加 | | 
且 台 (xz 更 (xzG) 线 性 无 关 ， 
设 [ 
即 
解 此 方程 组 ,得 


人 


2+2u1™ ui=0. 


#1 一, wz2 = 2, 
所 以 x 是 K-T 点 ， 
例 3.8 给 定 非 线性 规划 问题 ， 
min fix)=(ri— 1)?+ 12, 
st. g(x)}= ri+ x2 20, 


g2(x)= 一 0, 
求 满足 K-T 条 忻 的 点 . 
解 ”目标 嚼 数 和 约束 函数 的 梯 庶 分 别 为 


_ 2tr1—1) 1 _ 0 
ye)=| 1 jw = w=) 
K-T 条 件 为 
V(x) + Du Bi (x) = 0, 
iE] 


uiBitxX) = 0, i = 1,2, 
ui 0 i= 1,2. 
拖 


2(zx1—1}+ wa:=0, (1) 
lt+twi~— wa=0, (2) 
#1(xX1+ X22)=0, (3) 
#2 — x2) =0, (4) 
tl KI. (5) 
式 (1 一 (4) 是 玉 zl zz wi1, uz 为 元 葛 非 线性 方程 组 .问题 归结 为 求 这 个 方程 组 满足 条 件 
xi20 利 ws 党 0 的 解 .一 般 说 来 ,求解 非 线性 方程 组 比较 复杂 ,但 求解 这 个 问题 却 比 较 简单 ， 
在 式 (4) 中 , 若 us=0, 则 由 式 (2) 得 到 wu = 一 1, 因 此 设 xz=0, 风 方程 组 变 成 


2T1+ ul—2=0, (6) 
ui— w+ 1=0, (C7) 
ui({x1—2)=0. (8) 


在 式 (8) 中 ,车 zy 一 2=0, 则 由 式 (6) 必 得 wl = 一 2, 因 此 设 zl =0. 再 将 wi1=0 代入 式 (6) 和 
式 (7), 解 得 gn，=1,x1=1. 

由 上 述 求 解 这 程 得 到 原 方程 组 的 一 组 解 ， 

xT1=1, x2 人 0, ut1=0, w=1. 

由 于 si 和 wz 都 是 非 负数 ,因此 得 到 K-T 点 ,有 
1 
中 

定理 3.25 极 小 点 充分 条 件 ” 设 极 小 化 问题 (3.3.4) 是 凸 规 划 , x 是 一 个 K-T 点 , 那 
么 ,x 必 荐 全 局 极 小 点 . 

证 盟 ”性 取 一 个 可 行 点 x, 那么 , g(x) 志 0; 又 由 于 约束 函数 g,{x) 是 凸 函数 , 则 有 

gi(x)g(r)+ Wr) x), i=1,2,.,m. 

当 iE1, g(x)=0 时 ,有 


于 二 


Wx) (x — x)E0. 


由 x 是 K-T 点 ,有 
W(x) =- lr), ui 宕 0, iET, 
Vr) xX) = Di) (0. 
iET 


fr) + Ox)T (x ~ x), 
fx) F(x). 
这 表明 , x 蚌 原 问题 的 全 局 极 小 点 ， 
此 定理 变 求 在 凸 规 划 的 情况 下 才 成 立 , 对 于 非 凸 规划 ,K-T 点 可 能 不 是 极 小 点 ， 
3.3.2.3 一 般 约束 问题 的 一 阶 最 优 性 条 件 
设 具 有 等 式 和 不 等 式 约 束 的 问题 为 


min f(x), 
St, gx)ED, i=1,2,.",m, (3.3.7) 
h(x)=0, j=1,2,.,1. 


| 

| 
i. 
; 


定义 集合 
Ho= 11VRiCz)TE = =1 
可 以 证 明 , 当 统 (x), 绝 2(*),…, 呈 1(x) 线 性 无 关 时 , Ho 等 于 等 式 约束 
hitx)=0, 
h(x)=0, 


h(x)=0 
所 定义 的 超 戎 面 在 x 处 的 切 平 面 
定理 3.236 设 在 问题 (3.3.7) 中 ,x 为 可 行 点 ,T= 和 g(x)=01,f 了 和 gi(i 舍 了) 在 点 x 
可 微 , g; (i 售 了 1) 在 点 x 过 续 ,h(i 二 1,…, i) 在 点 x 连续 可 微 , 用 V1(x), Wha(x),"…， 
hx) 线性 无 关 . 如 打工 是 局 部 最 优 解 , 则 在 x 处 ,有 
FomeGo 站 Bo= 允 . 
其 中 , Fu 和 Go 的 定义 为 
Fo= [di Yr) Tad<0!, 
Go= {di (x) d <0, iETI. 
证 明 ”用 反 证 法 , 设 存在 向 量 


yeE Fo Gof Ho, 
即 下 列 各 式 同 时 成 立 ， 
Yrx) yy<0, (3.3,8) 
Wx) Ty<0, i€ET, 《3.3.9) 
Wir)I7=0， 了 = 二， (3.3.10) 
现 用 微分 方程 及 边界 条 件 


datA) _ 


a{0}=x, 


定义 一 个 函数 a:E! 一 E”. 其 中 4 之 0, 取 P(X) 为 这 样 的 矩阵 , 它 把 征 何 向 量 z EE” 投影 到 
年 阵 


(3.3.11) 


= (Vhi(x), Vha( x), ee, Th x))T 
的 零 空间 , 即 对 任意 的 z€ E*, 总 成 立 


hts pa)r =0. 


由 于 矩阵 如 满 牧 ,如 (j==1,…,4), 在 点 连续 可 微 ,这 样 ,对 充分 小 的 4>0, 必 有 PC2) 
在 4 处 连续 ,因此 微分 方程 (3.3.11) 存 在 解 a(4), 且 当 4~0* 时 ,a (4) 一 x， 


下 面 证 明 当 4 >0 充分 小 时 ,a(4) 为 可 行 点 ,并 且 f(a(4 之 f(x), 从 击 导 致 牙 盾 . 
当 iEIT 时 ,用 镇 链 法 则 ,由 (3.3.11), 得 


gah)) = Wea) TTP)y. (3.3.12) 
根据 假设 , ， 在 总 (2 的 稚 空 间 中 ,有 


P(O0)y=y. 
这 样 ,由 (3.3.9) 和 (3.3.12) 可 知 


g(a(0)) = W(x) Ty<0, iE1., (3.3.13) 
由 于 gitoa(0)) = g(x)=0, ET 
因此 , 当 4 >0 充分 小 时 ,由 (3.3.13) 得 
gikatA)) 0. (3.3.14) 


当 i&T 时 , gi(xX)<0, 且 根据 假设 , 岗 数 g(x)(i 态 1) 在 点 x 连续 ,因此 对 充分 小 的 数 
A>0, 必 有 . 


gi(ua(A)) <D. (3,3.15) 
天 证 对 充分 小 的 >0, h(a(4))=0., 根 据 中 值 定理 ,有 


lala = h(a(0)) + Mh,(a(p)) 
= h(alp)). (3.3.16) 
其 中 , z 是 (0,4) 中 某 一 个 数 . 
用 锁链 法 则 , 并 注意 到 (3.3.11) 及 P(p)y 在 于 (8()) 的 零 空间 中 , 则 有 


a(r) 
HCalp))= Whalp) TP py=0. (3.3.17) 
把 (3.3.17) 代 入 (3.3.16), 则 
h(a(a) =0, j=1,.…,1. (3.3.18) 


由 (3.3.14), (3.3.15) 和 (3.3.18) 可 知 , 当 4>0 充分 小 时 ,a (A) 是 可 行 点 . 
用 类 似 于 推导 (3.3.13) 的 上 方法, 可 得 


Bf(a(0)) = TE) Ty<0. 


因此 对 充分 小 的 4>0, 有 

flalaD FY). 
这 个 结果 与 x 是 局 部 最 优 解 相 矛 盾 . 外 此 

FeoN Geof Ho= @. 


下 面 给 出 一 阶 必 要 条 性 的 代数 表达 . 

定理 3.27 Fritz Jehn 条 件 设 在 问题 (3.3,7) 中 ,>x 为 可 行 点 ,T= |i|lg(x)=0},f 
和 gi(iE7T) 在 点 x 可 微 , g;(i 攻 了 1) 在 点 x 连续 ,hh(j = 1,…, 1/) 在 点 x 连续 可 微 , 如果 是 
局 部 最 优 和 天, 则 存在 不 全 为 零 的 数 wo, ue(i ET) 和 v(j =1,…, 才 ,使 得 


1 + 安放 可 人) 2 vy Vhs(x) = 0, 


uo ii 0 EI. 


证 明 如 果 鸣 1(x), Wh2(x)…, Vhs(x¥) 线 性 相关 , 则 存在 不 全 为 零 的 数 v;,j =1,…, 1， 
使 


上 
>) vvVh(x) 三 办 ， 
jl 


加 车 辐 加 照 国 四 图 


六 


sE TsT ET bE EE 


这 时 ,训令 wo=0, ;=0,iE€ 了, 则 得 出 定理 的 结论 . 
如 果 Wh1Cx), 叶 2x),…, Whi(x) 线 性 无 关 , 则 满足 定理 3.26 的 条 件 , 必 有 
Fo Gofl Ho= 名， 
x) Td <0, 
媳 Wx) ad <0, i€EL, 
Vh(x) d=0,7=1,.,1 


(3.3.19) 


元 解 . 
令 起 是 以 V(X)T, Wi(EJTCiE 丰 为 行 组 成 的 符 阵 , 昌 是 以 纹 ;(x)T(j =1,…, 4) 为 行 
组 成 的 矩阵 ,这样 系 统 (3,3.,19) 元 和 解 ,也 就 是 系统 


Ad <0, 
pa =0 | (3.3.20) 
无 解 . 
现在 定义 两 个 集合 : 
Si1= (7 [n= Ad, y= Bd, dE E" |, 
2 
S2= 人 mn<o,m=0). 
了 2 
显然 , S， 和 5S; 均 为 非 空 凸 集 ,并 且 
S1 门 52 = 从， 
根据 定理 2.5, 存在 非 零 向 莉 
-| 
p= 和 
Pp2 
使 得 对 每 一 个 LE E" 及 每 一 点 
后 E ctSy, 
了 2 
成 立 piAd + piBad>piy+ ply2. (3.3.21) 
令 y, = 自由 于 yi 的 每 个 分 量 均 可 为 任意 负数 ,因此 (3.3.21) 的 成 立 蕴 涵 荐 
P12 人 0 ， (3.3.22) 
¥1 
再 全 国 -| 和 cz， 
则 (3.3.21) 的 成 立 又 赣 活 着 
plAd + pi Ba2>0. (3.3.23) 


由 于 dE€E", 可 取 任 何 向 量 , 令 
d= -(ATpi+ BTp;), 
代入 (3.3.23) ,得 到 
-| 47pi+ 吾 7pa 外 zz0， 
由 此 可 知 
ATpit+ Bip,=0. (3.3,24) 


即 
抽 要 + ww =0, 
Ho ai 0 iE€EI. 
由 于 p 是 非 零 商量 ,因此 数 wo0, ws(iE nD) 以 及 (j=1,…,!) 不 全 为 零 . 
在 Fritz John 条 件 中 ,不 排除 目标 函数 梯度 的 系数 uo=0 的 情形 .为 保证 uo 关 0, 需 给 约 
束 条 件 施加 某 种 限制 , 从 而 给 出 一 般 约束 间 题 的 K-T 必要 条 件 ， 
定理 3.28 K-T 必要 条 件 ” 设 在 问题 3.3.7 中 , 为 可 行 点 ,了 = |iig{x)=01,f 和 和 
8i(iET) 在 点 x 可 微 , gj(i 攻 1) 在 点 x 连续 , 妈 () = 1,…,!) 在 点 x 连续 可 微 , 向量 集 
{Bx), VAAXITEE LT, 7=1,.,t| 
线性 光 关 ,如果 x 是 局 部 最 优 解 , 则 存在 数 w(i ET 和 vw(j =1,…,), 使 得 


| 十 2 il x) + Vhslx) = 在 ， 


ur 2 0, E 司 I. 
证 明 根据 定理 3.27, 存 在 不 全 为 零 的 数 ko wi(iE DD 和 w(tj = 二 1,…,4), 使 得 


uo (x) + Du (x) + Dv vA(x) = 0, 
1E7 和 


uo0: Wi 2 0, iEeEIi. 


把 pi 的 分 量 记 作 wo 和 us(iE7), p2 的 分 量 记 作 vw(j =1,…, 站 ), 则 (3.3.22) 和 (3.3.24) 
| 


一 一 


由 向 量 组 
{WCx), VA RI EE LT, j=1,., 4! 
线性 无 关 , 必得 出 wo 尖 0, 否则 ,上 面 的 向 量 组 将 线性 相关 ， 


令 
二 本 ， iEe I, 
v= 一 工 i, 
于 是 得 


i=l 


* 

人 十 Du Ei(x) + Dy, Vhs (x) 一 人 0, 

?了 
Wi 0， 1 [mm I. 


这 里 , 与 只 有 不 等 式 约 东 的 情形 类 似 , 当 g;(i 儿 了) 在 点 x 也 可 微 时 , 令 其 相 度 的 乘 子 wu = 0， 
于 是 可 将 上 述 K-T 条件 写 成 下 列 等 价 形式 ， 


WE) + Du la) + Do Vh(z) = 0 


= 


tx) 一 0， i 云 1,…， Ri, 


iD 二 
其 中 , wigi(x)=00i=1,…, my) 仍 称 为 互补 松弛 条 件 . 
定义 广义 的 Lagrange 孙 数 ‘7 。 


- Fer Pe or 国 | rn EN 1 
匡 国 加 图 如 加 昨 加 回首 基 四 加 回 加 奋 明 加 


二 “站 -~， 区 3 
-J i 四 be 


L(x, Wr) = f(x)+ wm) + Dy vphi(x). (3.3.25) 


j=l 


由 上 面 的 讨论 可 知 , 在 定理 3.28 的 条 件 下 , 若 x 为 问题 (3.3.7) 的 局 部 最 优 解 , 则 存在 


. 乘 子 向 量 wi 之 0 和 "使 得 


L(xX, HF) =0. 
这 桩 ,K-T 履 子 #,» 也 称 为 Lagrange 梁子 ， 

这 时 ,一 般 情形 的 一 阶 必要 条 件 为 
YL(x, u,v) =06, 
giICXIEO, i=1,.…, i, 
h(x)=0, j=1,.", 4, (3.,3.26) 
wpBilx)=0, i=1,",m, 
ti 一 二 Pa 

例 3.9 试验 证 x=(1,1,1)" 是 下 述 问 题 的 K-T 点 ， 


min flx)= -3ri— xz?—273, 


st， gif = Xx1~ ZE0, 
Bat¥) = — zi 
ga(x)= — I2S0, 
Eg4t*¥)= -ze0, 
h(x)= zi+zit x4-3=0, 


解 将 x=(1,1,1)" 代 入 各 约束 , 可知 
g(x <O, gx) <O, galx)<O. 


由 豆 补 松弛 条 件 , 立即 有 
W212= Wu3= Wa4= 0. 
叉 册 于 有 gi(x) 0, h(x) =0, 
则 K-T 条 件 简 化 为 
FOX) + Hi) tv VA(Y) =0, 
ui20. 
经 计算 ,可知 
-6 1 2 
Fr}= | -2|, B(x)= | | 
—4 0 2 


显然 , WE1(x) 与 玖 (x) 线 性 元 关 . K-T 条 件 等 价 于 ， 
—6+u1+2v =0, 
-2— x+2v=0, 
一 4 十 2v =0， 
Wi 20， 
解 之 得 立 =2,81=2>0. 故 工 是 K-T 点 . 
下 面 ,对 于 是 规 划 , 给 出 遇 优 解 的 充分 条 件 ， 


定理 3.29 设 在 问题 (3.3.7) 中 , P gj(i 二 1,…, 加 ) 是 西区 数 ,hi(j =1,…, 是 线性 
函数 ,可 行 域 为 ,x ED,J= |iigi(x) = 二 01, 且 在 x 处 K-T 必要 条 件 成 立 , 嗓 存 在 wi 守 0(i 
ET 及 v,(j =1,…, 二, 使 得 


Wx) + Duilx) + Dy vvh(x) = 0, {3.3.27) 
ji 上 | 
则 * 是 全 局 最 优 解 . 
证 谢 ”由 定理 的 假设 易 知 , 可行 域 PP 是 凸 集 , 又 目标 函数 了 是 凸 著 数 ,因此 问题 属于 刁 
规划 . 
对 任意 一 点 xED, 由 于 了 是 凸 消 数 , 且 在 xED 可 微 ,因此 
fOr) FI 一 x)， (3,3.28) 
由 于 gi 人 ET 是 凸 函 数 且 在 x 可 微 , 必 有 
g(r)g(x) + Wx) (x — x), 1 人工， 
由 于 xED, g(x)E0 及 g(x)=0, 央 此 


Wx)Tx x0 iET. (3.3.29) 
由 于 训 (7 =1,…, 才 是 线性 通 数 , 必 有 
h(x)=h(r) + Yh(x) (x 一天) 《3.3.30) 


又 因为 x 和 x 为 可 行 点 ,满足 
h(x)=h(x)=0, 
因此 出 (3.3.30) 得 到 


VifzJTYE 一 2) 一 D， 了 1 (3,3.31) 
由 已 扼 条 件 (3,3.27), 得 
Fx) =— D(x) - DVh(x). (3.,3.32) 
i€1 jml 
把 (3.3.3) 代 入 (3.3.28), 并 注意 到 (3,3.29),(3.3,31) 世 及 ww, 实 0, iE€ET, 则 得 出 


fr F(r), 
故 x* 为 全 局 最 优 甫 . 


前 面 给 出 的 一 阶 最 优 性 条 件 ,都 不 涉及 目标 医 数 和 约束 函数 的 二 阶 导数 .实际 上 , 二 阶 


导数 反映 函数 的 曲率 特性 ,它们 对 稳定 算法 的 设计 具有 重要 意义 ,因此 和 需要 研究 约束 问题 的 
二 阶 最 优 性 条 件 ， 


为 给 出 局 部 最 人 顶 解 的 二 阶 充分 条 件 , 定 六 集合 
Wx) Td =0,i1EITHu>0 
G=18| (x) AE0, iET Hu;=0r, 
VhAx) d=0,7=1,.",1 
其 中 ,aa 是非 零 向 量 . 
定理 3.30 K-T 二 阶 充 分 条 件 ” 设 在 问题 (43.3.7) 中 ,六 8C=1 加) 和 而 ( 他 一， 
…, 4) 二 次 连续 可 微 ,x 为 可 行 点 ,存在 雪子 下 = (al …,zn) 和 7Y=(v…， wj) 使 条 件 
《3.2.26) 成 立 , 旦 对 于 每 个 非 零 向 量 4€EG, 都 有 dTV2LCx ,u,v)ad>0, 则 x 是 严格 的 肩 部 
最 优 解 . 
证 嚼 ”用 反 证 法 .假设 x 不 是 严格 的 局 部 最 优 解 , 则 存在 收敛 于 x 的 可 行 序列 x 中 )}， 


100 


[HS 


回国 轩 固 四 攻 


FrztDJsFY). (3.3.33) 
《二 
令 d= x {3.3,34) 


由 于 Hd 为 有 界 序 列 , 则 必 存 在 收 合子 序列 1a' 入 |, 设 其 极限 为 2 中. 特 g(x) 在 点 x 展 
开 , 再 令 x= x 器 ,得 
gi(x tt) = g(x) + W(x) Tx x) to x x ). (3.3.35) 
当 jE 时 , g(x)=0, 又 知 x' 太 是 可 行 点 , g(x 人 名 } 才 0, 因 此 由 (3.3,35) 得 
T(r) + od x |) 0, 
两 端 除 以 上 x(%) 一式 目 , 令 如 一 co, 则 推 得 


Bx) dO, iT (3.3.36) 
用 类 似 方 法 , 可 得 
Vhs(xX)TA =0, j=1,.,1, (3,3.37) 
以 及 
yi)Tadn =0. 《3.3.38) 
下 面 分 两 种 情形 讨论 : 


(1) 6 起 尼 . 此 时 ,由 (3.3.36) 和 集合 G 的 定义 可 知 , 必 存 在 下 标 iE 了 ,使 得 让 >0， 
且 Ve;(x)Td <0. 这 样 ,利用 长-T 条 件 ,必然 推出 下 列 结果 ，; 


1 
了 (Ta = (Pai) + Pv)) a 
=— Du Bx) dd > 0, 
了 
这 与 (3.3.38) 相 矛盾 ， 


(2) 4 中 EG. 这 时 ,把 Lagrange 函数 (x,#,7) 在 点 x 展开 ,并 令 x = rt), 则 有 
L(x a v= LX, u,v) + WLOX, ,rT xt + 


TTL x) 


oC xn mr?). (3,3.39) 
由 于 x 己 } 是 可 行 点 ,& = (ui 一 ;em 这 0, 根 据 Lagrange 函数 的 定义 ,有 


mm . 
L(x, ny) = f(x) + BID) + Dh rn), 


因此 必 有 人 
Lx, wv) fr). {3.3.40) 
又 知 
L(x, u,v)= f(xX), (3,3.41) 
贝 假设 还 有 
WL{(xX, WH, 7)=10, {3.3.42) 
fx f(r). (3.3.43) 


把 (3,3.40) 一 (3.3.43) 代 入 (3.3.39), 则 


1 _ _ _ _ 
六 一 TILE EYE to x x D200, 


两 端 除 岂 x 中 一 x 上 7, 令 一 %w, 得 到 
diTY (xX, uP) dN 0. 
这 个 结果 与 dTV2 江 (x,#,*)d>0(d€G) 的 息 设 相 牙 盾 .所 以 假设 不 成立 ,x 是 严格 的 局 部 
最 优 解 
全 3.10 试 证明 点 x=(1,1,1) 是 下 述 问 题 的 K-T 点 ,又 是 严格 局 部 极 小 点 : 
min f(x)= -5r1—r2—-27r3, 


Sst. ptr)=6r1—272—4 <0， 


gx)= YI+ 2 一 3 0, 
tx)= zi+ 了 十 3- 3=0. 
解 将 x=(1,1,1) 代 入 各 约束 函数 ,有 
g(xX)=0, gatx}<0, hr)=0, 
故 us=0. 
又 因为 Wi(x)=(6, 一 2.0)7， VA(x)= (2,2,2)7, 
W(x)={-10, 一 2 一 4)T， 
显然 轨 i(r) 与 驳 (z) 线 性 无 关 ,K-T 条件 等 价 于 
-10+681+25=0， 
一 2 一 2u1+2v=0, 


一 入 十 27 二 昌 ， 
1 之 0， 
解 之 得 v=2,w1=1>0. 所 以 x={1,1,1) 是 K-T 点 
叉 设 非 零 向 量 
d= {di,d2, ds) 1 0D, 
令 dEG, 有 
6d1~2d2=0, 
dit d+ day=0, 
芒 da=3d1， 
ds0, 
diA0, 
好 2 天 0 
-10 0 0 200 
Vf(x)= 0 -2 0 we 2 "| 
0 0 -4 0 .02 
Vigi(x) = 以 三 阶 零 矩阵 )， 
有 dT[ V(X + uy VEi(E)+TT Thx) Yd 
= -6d +2d3= -6di+2(3d1)? 
=12d?>0, 
x 点 满足 定理 3.30 的 条 件 . 所 以 x = (1,1,1) 是 严格 局 部 极 小 点 . 01. 
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3.4 和 迭代 下 降 算 法 


在 拥 非 线性 规划 计 , 最 常用 的 计算 方法 是 达 代 下 降 算 法 .因为 在 一 般 情况 下 , 不 能 用 解 
析 方 法 求 得 准确 解 , 只 能 用 数值 方法 逐步 求 其 近似 解 , 即 需要 用 迁 代 方法 求解 优化 问题 的 极 
小 点， 

选 代 法 的 基本 思想 是 :首先 给 出 f(x) 的 极 小 点 * 的 一 个 初始 估计 x 人 0( 称 为 初始 点 )， 
然后 ,计算 一 系列 的 点 x 全 ,x 多，…, x,…, 需 望 点 列 |x 人 的 极限 就 是 F(x) 的 极 小 点 芭 . 
在 确定 了 点 x 之 后 ,有 

rt ri) ta ， 
其 中 , d' 中 是 一 个 向 景 , 几 示 选取 的 方向 , t; 是 正 实数 , 表示 步 长 , 当 4 和 4 确定 后 . 由 
x 就 可 以 唯一 地 确定 x**9, 这 样 就 可 以 确定 近 近 极 小 点 的 一 个 序列 1x 个 |， 通常 称 之 为 
一 个 极 小 化 序列 .选取 方向 &49 和 步 长 4 的 方法 不 同 ,决定 了 各 个 不 同 的 算法 . 
选取 方向 4 中 和 步 长 6 的 原则 为 ; 
《1) 极 小 化 序列 对 应 的 函数 值 是 逐次 减 小 的 , 至 少 是 不 增 的 , 即 
fx OF rN) fr 

《2) 极 小 化 序列 中 的 某 一 点 是 f(x ) 的 极 小 点 ,或 者 {x'* | 的 极限 是 f(x) 的 极 小 点 x 

称 具 有 上 述 性 质 的 算法 是 收 敏 的 .这 个 要 求 是 必需 的 , 如 果 极 小 化 序列 不 收 敏 于 极 小 
点 ,那么 这 个 序列 就 没有 什么 用 处 了 ,但 这 个 要 求 并 不 容易 做 至， 

如 果 算 法 产生 的 某 个 点 x* 正 好 是 所 需 解 决 问题 的 极 小 点 , 理所当然 地 应 终止 计算 .但 
是 这 种 情形 是 很 难 出 现 的 ,只 好 退 而 求 其 次 ,因此 , 必须 规定 一 些 准 则 , 使 得 计算 在 经 过 有 限 
次 选 代 后 在 满足 所 给 准则 的 条 件 下 终止 , 使 得 最 终 产 生 的 点 的 误差 程度 已 经 可 以 接受 .常见 
的 一 些 终 止 淮 则 有 ， 

(1) | Yt) Ese; 

(2) 1 rt 一 | < 妇 es 或 


x 
(+m) 9 FC) 


<e 


(3) [Cr "了 fx)|se 或 

(4) | F(x) -el<e, 或 [人 (el 
其 中 ,* 为 预先 给 定 的 小 正 数 , 称 之 为 计算 精度 或 终止 限 , a 为 预先 确定 的 数 , sm 为 预先 给 定 
的 正 整数 . 

对 于 一 些 特殊 算法 ,还 有 一 些 相 应 的 特 诛 的 终止 规则 . 上 述 终止 规则 可 单独 使 用 , 在 实 
际 工作 中 往往 联合 使 用 几 条 准则 , 所 得 的 近似 极 小 点 更 理想 . 

移 代 下 降 算 法 的 步 琢 如 下 : 

(1) 选择 初始 点 x 中， 

(2) 如 果 x 已 求 得 , 且 x3 不 是 极 小 点 ,设法 选取 一 个 方向 ad, 使 目标 函数 f(x) 洛 
at 是 下 降 的 , 至 少 是 不 增 的 . 409 称 为 搜索 方向 

(3) 在 方向 4 名 确 定 以 后 , 进行 一 维 搜索 , 即 选取 适当 的 步 长 不 ,使 

的 十 id)) =minf(x'® + (7), 


由 此 确定 出 下 一 个 点 x 中 + 站 = x 中 + 二 

(4) 检验 所 得 新 点 x 人 ** 了 ?是否 为 极 小 点 或 满足 精度 要 求 的 近似 极 小 点 ,检验 的 方法 可 
以 根据 以 上 提 到 的 终止 准则 , 否则 继续 进行 迭代 . 

给 定 一 个 近代 算法 ,不 仅 变 求 它 是 收 钱 的 ,而 且 希 望 由 这 个 方法 产生 的 点 列 1x 全 以 较 
快 的 速度 收 敏 于 最 优 解 zx. 收 伍 的 快慢 通常 由 收 笋 的 阶 来 度 基 ， 

定义 3.12 线性 收 伍 (linear convergence) 设 由 算法 产生 的 点 列 1x 吕 1 收 合 于 点 x, 若 
存在 正 台 数 &o 以 及 与 大 无 关 的 数 BE (0,1), 当 此 >o 时 ,和 便 有 

rp Ep zt 一 三 |， 
则 此 算法 具有 线性 收 全 速度 . 

不 失 一般 性 ,可 以 很 定 上 式 对 于 30 都 成 并 ,于 是 有 
x 
这 说 明 , 点 x 到 点 x 的 距离 , 当 上 一 + 时 ,大 烙 以 公 比 为 的 等 比 序 列 减 小 ,因此 线性 收 

化 速度 相当 于 相应 的 等 比 序列 的 收敛 束 度 ， 

定义 3.13 a 阶 收 雍 速 魔 。” 设 由 算法 产生 的 点 列 [x 吕 | 收 化 于 点 x, 若 存在 正 整 数 上 

以 及 与 让 无 关 的 数 8>0, a >1, 当 >ko 时 , 恒 有 
xD rl x -rl", 
风 称 此 算法 其 有 a 阶 收 襄 速 度 ， 

当 1<a<2 时 , 称 点 列 1x 避 | 为 超 线 性 收 就 的 (super linear convergence); 

当 a =2 时, 称 点 列 ix 中 | 为 二 阶 收 印 的 (quadratic convergence). 

一 般 而 言 ,线性 收 合 速 谋 是 比较 慢 的 , 超 线 性 收 襄 速度 相对 较 快 ,而 宇 阶 收 但 速度 则 相 
当 快 . 如 果 一 个 算法 具有 超 线 性 收 语 速度 , 从 计算 速度 的 角度 就 认为 它 是 一 个 比较 好 的 算 
法 . 

定义 3.14 有 超收 化 性” 若 将 某 种 等 法 应 用 于 任意 一 个 具有 正定 Hessian 秆 阵 的 一 次 
通 数 时 , 都 能 在 有 限 步 内 达到 极 小 点 , 则 称 此 算法 具有 有 限 收敛 性 , 或 二 次 四 仇 性 . 

由 于 函数 在 无 约束 极 小 点 的 附近 可 以 近似 翅 表 示 为 具有 正定 Hessian 矩阵 的 二 次 话 


数 ,因而 具有 有 限 收 黎 性 的 算法 的 收 僵 速度 通常 较 快 ,有 的 收 伍 速度 为 超 线性 的 , 有 的 甚至 
达到 二 阶 ， 


3.5 一 维 搜索 


太 多 数 非 线 性 规划 的 算法 可 以 归结 为 一 个 基本 格式 :从 某 个 初始 点 x 中 出发, 祝 某 个 适 
当选 择 的 方向 {通常 是 目标 函数 的 下 降 方 向 }4 中 进行 一 维 搂 索 ,得 到 目标 值 较 小 的 点 x 人 ; 
再 从 x 中 出 发 , 涪 选 择 的 方向 4 二 进行 一 维 搜索 , 得 到 和 月 标 函 数值 更 小 的 点 xz 人 如, …, 如 此 重 
复 进 行 ,产生 一 个 点 列 和 fx}, 在 道 当 的 条 件 下 , 点 列 |x 人 1 可 趋 于 极 小 点 x .因此 , 一 维 搜 
索 是 非 线 性 规划 算法 的 基础 . 

一 锥 搜索 (line search) 可 归结 为 单 变 量 隔 数 的 极 小 化 问题 . 设 目 标 艾 数 为 f(x), 过 点 
x 由 沿 方向 dt 必 的 直线 斌 用 点 集 表 示 , 记 作 

L=ix|lx=x tt +d, -ott+oo). 
求 A(x) 在 直线 L 上 的 极 小 点 转化 为 求 一 元 函 教 
p(t)= F(x + td'*)) 
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的 极 小 点 . 
如 果 当 上 取 冯 时 , gp(1) 极 小 ,那么 函数 f(x) 在 直线 工 土 的 极 小 点 为 
wD x 十 二 全， 
通常 称 点 为 步 长 ， | 
在 进行 一 维 搜索 之 前 ,首先 要 确定 初始 搜索 区 间 和 搜索 点 ， 
定义 3.15 搜索 区 间 设 p(t) 是 一 元 函数 ,上 “是 p(1) 的 一 个 (局 部 ) 极 小 点 , [a,6] 
是 包含 上 的 一 个 区 间 , 则 称 区 间 [a,5] 是 函数 g(i) 的 极 小 点 :* 的 一 个 搜索 区 间 . 
在 一 维 搜索 所 涉及 的 函数 中 ,最 置 要 的 最 常见 的 是 单 谷 通 数 . 
定义 3.16 单 谷 北 数 设 p{:) 基 定义 在 区 间 [a,5] 上 的 一 元 函数 ,1" 是 gp({1) 在 [a， 
6] 上 的 全 局 极 小 点 .如 果 在 fa,5] 上 任 取 两 个 点 <<z2, 当 tz 所 1* 时 , 必 有 p(11) > g(z2)， 
而 当 4 污 :* 时 , 必 有 p01)<<g(12), 则 称 of) 是 fa ,6 上 的 一 个 单 谷 函数 , 或 称 之 为 下 单 
蜂 函 数 . 
容易 理解 , 任意 一 元 函数 在 其 极 小 点 附近 都 是 单 谷 函数 . 
定理 3.31 设 p 是 区 间 [a,51 上 的 单 谷 浮 数 ,#1, 12E [a,6], ti<<t2. 如果 p(t1)> 
P(t2), 则 对 每 一 个 :ELa,t1], 有 Pp)> p(t2); 如 果 (i 六 glr2), 则 对 每 一 个 1 EE[2， 
b], 有 gp (p(t). 
证 明 用 反 证 法 证 前 一 种 情况 .假设 pg(11)> gp(12) 时 ,存在 i€E[a,11], 使 
p<o(t). (3.5.1) 
显然 + 不 是 极 小 点 .这 时 有 两 种 可 能 性 ,或 者 极 小 点 1:* Efa, 1), 或 者 "Et,6], 当 4:* 
所 [a,t1) 时 ,根据 单 党 孙 数 的 定义 ,有 
Plt) > p(t1), (3.5.2) 
这 与 假设 蔬 舌 . 当 1* E(t,b] 时 ,应 有 
PE) > peu). {3.5.3} 
由 于 假设 g (4) > p{12), 因 此 (3.5. 3) 与 假设 (3， 5,1) 开 盾 ,由 此 可 知 , 当 g(11)> 
P(t2) 时 ,对 每 一 个 :EE [a,z1], 必 有 
ptt) > p(t2). 
同 理 可 证 后 一 种 情形 . 
根据 上 述 定 理 , 可 以 得 到 缩短 搜索 区 辣 的 基本 原理 ， 
定理 3.32 设 [a,5] 是 单 谷 函 数 pg(1) 的 一 个 已 知 搜索 区 间 , 在 [a ,5] 中 任 取 两 点 < 
t2. 
OD 如 果 Pi) > p(t2), 则 搜索 区 间 可 缩短 为 [ 1, 6]; 
加 如 果 g (1) 太 g(12), 则 搜索 区 间 可 缩短 为 [a, :;]. 
根据 定理 3.32, 只 和 需 选 择 两 个 试探 点 , 就 可 将 包含 极 小 点 的 区 间 缩 短 . 当 区 间 长 度 小 到 
一 定 程度 时 ,区 闻 上 各 点 的 函数 值 均 接近 极 小 值 ,因此 任意 一 点 都 可 作为 极 小 点 的 近似 . 
当 进 行 一 维 搜索 时 , 首先 要 确定 初始 搜索 区 间 ， “全 夯 才 的 初始 搜索 区 同一 一 般 由 进退 算 
法 确定 . 
进退 算法 的 基本 步 驰 如 下 ， 
(1) 首先 任 选 一 个 初始 点 to, 初始 步 长 请 >>0, 计 算 pt) 
(2) 令 2 =ito+h, 计 算 p(t2). 


(3) 若 ptr2) 守 g(to), 转 (4); 人 否则 , 若 p(t2)>glio), 令 = 一 ,22= 0; 转 (4). 

(4) 邻 =t2+h, 计 算 p(41). 

(5) 若 gp(i0) 夸 g(t0), 则 令 =2h,12= po t0=t1, 转 (4); 理 则 , 若 p(t1)> glio), 转 (6). 

(6) 令 4a=min(iiti2),6=max(1t1,t2); 则 [a,5] 凤 为 所 求 的 初始 搜索 区 阿 ,计算 停止 . 

一 维 杰 索 的 方法 很 多 , 大 致 可 分 为 两 类 ;一 为 不 使 用 导数 的 方法 ,如 Fibonacci 法 .0.618 
法 等 ;二 为 使 用 导数 的 方法 ,如 对 分 法 .牛顿 法 .抛物 线 法 ,三 次 播 值 法 等 .下 面 分 别 介绍 各 种 
一 维 搜索 的 方法 . 


3.5.1 Fibonacei 法 


Fibonacei 法 适用 于 单 谷 函数 ,在 计算 过 程 中 ,第 一 次 迁 找 需要 计算 两 个 试探 点 , 以 后 备 
次 选 代 只 需要 新 算 一 点 , 另 一 点 取 自 上 次 选 代 . Fibonacei 法 的 特点 在 于 区 间 长 度 缩 短 比 率 
由 Fibenacei 数 确 定 . 

定义 3.17 ”Fibonacci 数列 ” 设 有 数列 {F| ,满足 条 件 : 

(1) Fo=Fi=1, 

(2) Fry= Fe+t Fi,k=1,2,., 
则 称 | 1 为 Fibonacci 数列 ， 

根据 定义 3.17, Fibonacci 数列 的 形式 见 表 3.1， 


塞 3,1 
友 0 1 2 3 4 5 € 了 8 号 10 
k, 1 1 2 3 5 8 13 21 34 35 39 
Fibonacci 法 在 挝 代 中 计算 试探 点 的 公式 ， 
EF, 
Mat ET lb, a), 上 二 1,… ,nn—1，, (3.5.4) 
下 。 -5 
Hk 二 + {Be 一 ar), =1,'* ,nm1, (3.5.5) 
Pik+l 


其 中 , a 是 计算 函数 值 移 次 数 ( 不 包含 初始 区 间 端 点 的 计算 ), 需 要 事先 给 定 . 
容易 验证 ,利用 (3.5.4) 和 (3,5.5) 计 算 试探 点 时 , 第 上 次 迭代 区 间 长 庆 的 缩短 比率 恰 
为 Ff Fri 
设 在 第 上 次 多 代 前 ,不 确定 区 间 为 at, 大] .在 进行 第 次 灰 代 时 , 取 试 探 点 
Mrs EE ars be] A pr. 
分 别 考虑 下 列 商 种 可 能 的 情形 ， 
(1) pla) > 多) 念 al= 和 1 下风 
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_ Fi _ 
TF tb ar). (3.5.6) 


(2) PAEplp). 令 让 ber1= ks 则 


~ 一 -四 
i i ba bt 


Bitrl— ag+1= HL GF 


上 - 
=art 上 【8 一 全 一 人 
下。 -ki 


PF, 


Frio ox). {3.5.7) 
(3.5.6) 和 和 (3.5.7) 表 明 , 不 论 略 于 哪 种 情形 , 送 代 后 的 区 间 长 度 与 迭代 前 的 区 间 长 讼 之 
比 均 为 Fa Fs-a+l. 
利用 上 述 比 值 ,可 以 计算 出 经 过 n ~1 次 和 渴 代 (k=n 一 1) 所 得 到 的 区 间 长 度 . 
bn an bn ent) 
Fi F, 下 
-FF bi- a) 
= 让 (ba) (3.5.8) 


由 此 可 知 , 只 要 给 定 初始 区 闻 长 度 b1 - ai 及 精度 要 求 (最 终 区 间 长 度 )e, 就 可 以 计算 
函 教 值 的 次 数 (不 包 插 初始 区 间 端 点 秀 数 慎 的 计算 ). 令 


b, ~ antE, 
即 六 (anD<e. 
由 此 推出 Fn. (3.5.9) 


先 由 (3.5.9) 求 出 Fibonacci 数 下, 再 根据 下, 确定 计算 函数 值 的 次 数 #. 

运用 Fibonacci 法 时 , 应 注意 下 列 问 题 : 由 于 第 一 次 迭代 计算 两 个 试探 点 ,以 后 每 次 计算 
一 个 ,这样 经 过 n ~ 1 欣 选 代 就 计算 了 xn 个 试探 点 .但 是 ,在 第 a -1 次 远 代 中 并 没有 选择 新 
的 试探 点 .根据 (3.5.4) 和 (3.5.5), 必 有 


i 
EP aa- 人 


而 Mi 和 jp, -i 中 一 -个 取 自 第 n -2 次 选 代 的 试探 点 ,为 了 在 第 wn -= 工 次 选 代 中 能 够 编 短 不 
确定 区 间 , 可 在 第 n -2 次 迭代 之 后 ,在 已 确定 招 43, -1i= pr -1 的 1 1 的 右边 或 左边 取 一 点 ， 
令 
| An An -i pn 一 Au-1 十 它 . 

其 中 ,辨别 常数 人 >0. 

Fibonacci 法 算法 如 下 : 

(1) 给 定 初始 区 间 [ai,2i] 和 最 终 区 间 长 度 e. 求 计算 函数 值 的 次 数 ,使 F, 洋 (46) 一 
al)/s, 令 辩 别 常数 >0, 计算 试探 点 1; 和 jp, 有 


F 
41 一 和 1 十 F 2(b1 一 a1), 


F, 
pin art (5 a1), 
i 


计算 函数 值 g(aA1) 和 gt). 令 k=1， 
(2) 若 p04) > glpn), 则 转 (3); 若 pC) 所 p(p), 则 转 (4). 


{3) 令 at:1= 4， 站 +1 一 Bs Ak+t! 三 Ai 计算 试探 点 ps+1; 有 
Fi 

Fk+1 二 tl 下 (beri— ak+1). 
再 一 中 


车 让 =n -2, 则 转 (6); 否 则 ,计算 攀 数 值 yg (p41), 转 (5). 
(4) 令 atr1= api= jmail=A 计算 Mb 有 


Fs 
Ak+1= G+1+ F (bn -a+1). 


若 上 =m 一 2, 则 转 (6); 否则 ,计算 pCa441); 转 (5)， 

(5) 令 上 上 =k+1, 转 (2). 

(6) 令 X4=45-1 p24 三 An-1+ 人 ,计算 yp (4,) 和 gplps). 若 pt45) > ptpa), 则 令 a, = 
ha bn = br1; 若 py (A) Ep) 人 倒 = a 

停 庄 计算 , 极 小 点 含 于 [ a,, 5,]. 

例 3.11 用 Fibonacci 法 求解 ; 

min og(li)=212-1-1. 

初始 区 间 [a1,51]=[ 一 1,1], 精 虚 es 委 0.16， 

这 3.1 


a an a flas} 
-0.23077 0.23077 
0.53846 0.23077 D0.38451 -1.1242€ 
0.07692 0.38461 0.23077 0.23077 
,383461 .23077 疙 ,这 二 和 77 
初始 区 辣 到 [a1,51] =[ 一 1,1], 精 度 e 么 0.16, 辨别 常数 3=0.01. 


61 一 
£ 


—0.95858 


—1.08876 


-1.12426 1.12426 


-EE.I2426 —1.12483 


由 于 Fa 之 


因此 取 =6, 计 算 结 果 见 表 3.2, 其 中 
16=45s+ 人 0.23077+0.01=0.24077. 
极 小 点 1 E[0.23077,0.38461]. 


1 .12.5, 


3.5.2 0.618 法 


Fibonacei 法 的 搜索 区 间 第 上 次 编 短 的 比率 F,_1/Fi 是 随 & 的 变化 而 变化 的 , 且 需 要 首 
先 计 算 各 个 Fi, 也 较 麻烦 .现在 介绍 0.618 法 ,其 特点 是 搜索 区 间 每 次 缩短 率 都 相同 ,所 需 
播 入 点 的 个 数 较 少 ,算法 简单 ， 

0.618 的 基本 原理 是 : 设 {c,，] 为 单 谷 函数 p(t) 的 初始 搜索 区 间 , 4, ye 是 对 称 捕 入 的 
两 个 点 (4<A). 设 搜索 区 间 缩 短 比 恒 为 a, 则 有 

LT EA 
b—a éb—a ” 
其 中 ,a 为 待定 常数 . 
不 妨 设 缩短 后 的 搜索 区 闻 为 [a, 1], 在 [a,4] 中 表 插 入 一 个 点 &, 为 使 下 一 次 的 搜索 区 


er 


Th rp i 
| 


> 


闻 的 长 虚 缩 短 比 仍 为 a, 应 有 


艾 A=6—atb—a), 
A=a +atg—a), 


~a=atb-a), 


则 az+e 一 = 人 0， 
— 1+ty5 
有 a= 一 宁 、， 
会 去 负 根 ,得 
a= S10.618 


即 每 次 搜索 区 间 缩 短 出 为 a =0.618, 而 插入 点 4,p 位 置 为 
A=Bb~-alb—-a)=at(l—a)(b -a), 
A=atoa(p—a). 
0.618 算法 如 下 : 
(1) 令 初 始 区 间 [al, 51] 及 精度 要 求 6 >0, 计算 试探 点 41, po, 计算 函数 值 p(241)， 
P(r1) ,其 中 
A1= 1+0.382(6, — a1) 
1=a1+0.618(61 ~ a1). 
令 开 =1， 
(2) 若 5 一 < 气 8, 则 停止 计算 ,和 否则, 当 p04)> plps) 时 , 转 03); 当 pA) 挝 g(x) 
时 , 转 (4). 
(3) 令 == Br 二 At1 王 ++1t+00.618C64+1 一 a4+1), 计算 函 数值 
Pi) 转 (5). 
(4) 令 t= ti 82(bE 1 一 ar+1); 计算 函数 从 
PALr1); 转 (5). 
(5) 令 训 = 上 +1, 返 回 (2). 
例 3.12 用 0.618 法 解 问题 
min p(t)=2t* -1—1. 
初始 区 间 [a1,61]=[ ~1,11, 精 度 es0,16， 
计算 结果 见 表 3.3. 
你 过 6 次 选 代 , 得 
2 一 ay=0.111<0.16， 
满足 精度 要 求 , 要 小 点 为 
1€Ef0.16%,0.279]. 
实际 上 , 问题 的 最 忧 z=0.25. 可 取 


= 广 (0.168 +0.279)“0.23 


3.5.3 和 090.618 法 与 Fibonaecei 法 的 关系 


0.618 法 与 Fibonacei 法 都 用 于 单 兴 函数 ,通过 不 断 地 缩短 搜索 区 间 而 获得 级 小 点 的 近 
似 值 ,0.618 法 的 区 疗 发 度 缩短 比率 是 常数 ,而 Fibonacci 法 的 区 间 长 度 缩短 出 率 由 Fibonacci 
数 确定 . 当 所 需 插 入 点 的 个 数 nn 充分 大 的 时 蛋 , Fibonacci 法 的 搜索 区 间 缩 短 比 率 趋 近 于 
0.618 法 的 缩短 比率 (/5 ~- 1)/2. 

在 应 用 Fibonacci 法 求 极 小 点 时 ,搜索 区 间 的 长 度 缩 短 的 比率 依次 是 

Fd Fa Fy 2AF is Fa_3/ Fa -2 Fn-af Fa-s, 
信 这 个 缩 黎 出 数列 中 取出 两 个 子 询 
{Fa Fat, {Fa /Farril. 
首先 可 以 证 明 , | 下 wy -1/ Fzi1 单 调 升 ,| 下 i/ Fos+1i 单 调 降 . 

证 明 以!Fz4-1/F24| 为 例 , 显然 ,只 需 证 明 对 任 音 上 ,Fa -Fz ~ Fzp4r1/ F244+2 是 负 
数 即 可 .当下 =1 时 , 下/F2 一 下/ 4 = 112 一 3/5<0, 结 论 成 立 . 

设 上 = m 一 1 时 结论 成 并 ,有 


Fatm-1) -1 Fzam-1 0 
Foam -1 下 2m ， 


即 
Fam -aF2m — Foam 1F2m 20. {3.5.10) 
当头 一 m 时 ,有 
Pm -1 FamrD 1 Fom -Fmt2T FamFanty (3.5.11) 
Fan Fam+1) FymF 2m +? 
其 中 ， 


Fam -1F2m+2™— FamF 3m +! 
= Fam-i( Fam rit Fam) ~ Fom( Pam t+ Fam-1) 
= Fam -iF2m+1™— PoamF2m 
= (Fan 2t Fan 3) (Fam + Fon 1) ~ Pom Fyn i + Fm-2) 
= Fym-3Fom t+ (Fym-2t Foam-3) Fam-1— FomF2m-1 
= Fam-3FP2m + Fam -iF2m-1— CFan-1t Fan -2)F2m -1 
= Fyn -3F2m — Fam-1F2n 2 0. 


eat . Ca ， 
机 一 Pm | 
a 一 2 四 


0 


代入 (3.5.11), 有 


Fam -1 _ En+0-1 0 
Fn Fatm +1) 


其 次 , 可 证 明 


ln Far- Fa) = lim(Fa/ Fas) = 1 


证 明显 热 ,数列 | Fzs -PE2xi 1 Fas/Fz441| 均 有 界 ,有 前 已 证 明 两 关 单 调 , 故 两 者 极 
根 存在 , 不妨 设 
lim Far -1/ Far =a, 
limF2r/ Far+1= 有 
lim Far -1/ Fa = lim( Fy -1/ (Fa t Fas -2)) 
= lin(i + Fas -2/ Fazt-D =(1+p) 1, 
故 ae=(1+B) (3.5.12) 
同 理 p=(l1+a) i. (3.5.13) 
特 (3.5.13) 代 入 (3,5.12), 有 
a=p=(~1+/5)/2, 
会 去 抽 根 , 得 
e= 有 =(V5 -1)72. 
从 对 目标 函数 性 质 的 枝 求 看 , Fibonacei 法 以 及 0.618 法 对 函数 的 连续 性 .可 微 性 都 没 
有 要 求 , 甚至 写 不 出 疮 数 解析 表达 式 也 没有 关系 , 只 要 对 于 所 选 定 的 插入 点 能 找 出 对 应 的 阔 
数值 就 可 以 了 .因此 , 这 两 种 算法 具有 最 广 斌 的 适应 性 . 尤其 是 对 一 些 生产 实践 中 的 问题 , 虽 
然 不 存在 确切 的 函数 解析 表达 式 , 但 是 可 以 通过 测量 等 手段 获得 指定 观测 点 的 有 关 数 据 , 因 
而 ,仍然 可 以 采用 Fibonacei 法 或 0.618 法 找到 极 小 点 . 


3.5,4 对 分 法 


无 论 是 Fibonacci 法 ,还 是 0.618 法 ,都 是 利用 插入 点 目标 旺 数 值 进 行 比较 大 小 而 缩短 
搜索 区 间 , 两 者 都 没有 使 用 导数 信息 , 然而 利用 的 信息 越 多 , 就 址 有 可 能 找 出 更 有 效 的 方法 . 
王 面 介绍 的 对 分 法 就 是 一 种 利用 目标 落 数 的 导数 进行 一 维 搜索 的 有 效 方法 ， 

对 分 法 基本 原理 : 设 p( 归 为 具有 一 阶 连 续 导数 的 单 谷 国 数 , 初始 搜索 区 间 为 [a ,4&8], 4" 
是 极 小 点 .显然 ,对 [a,5] 上 某 点 c, 由 于 gp'(:) 存 在 且 连 续 ,所 以 有 ; 当 yp’'(c)=0 时 , 则 c 是 
极 小 点 2; 当 gp (ec)<0 时 , 则 2" ELc,5]; 当 pCe)>0 时 ,出 "EE[a,e], 如 图 3.8. 


图 3.8 
下 面 讨 论 插入 点 c 的 位 置 .显然 ,在 插入 c 点 后 ,所 得 的 新 搜索 区 间 的 长 度 最 坏 情 形 为 


maxlc—a -cl. (3.5.14) 


其 最 小 值 为 
min maxie—a bb-el. {3.5.15) 
不 失 一 般 狂 ,可 设 
c-a 人 eb -re, {3.5.16) 
则 当 ({3.5.16) 的 等 号 成 立时 , 可 望 达到 (3.5.15) 的 最 小 值 . 
所 以 应 有 


ca=b-e, 
r=, Sta t+ 让). 
对 分 法 的 算法 步骤 ， 设 单 谷 函数 pt) 存在 导 函 数 g'{:), 极 小 点 的 初始 搜索 区 间 是 
[ao, bo], 要 求 极 小 点 的 近似 什 : 与 精确 极 小 点 :* 的 最 大 绝对 误差 |: -+* | 不 超过 。， 
(1) 令 a=ao,b= bo. 
(2) 令 c=0.5(a +58), 计 算 p'(c). 
(3)} 若 g (ce)<0, 令 a=c, 转 (4); 若 gCc)>0, 令 5=c, 转 (4); 若 gg (c)=0, 令 4=c， 
转 (5). 
(4) 车 16 一 aol 所 2e, 令 2=0,5(a+5), 转 (5); 香 则 , 转 (2)， 
(5) 给 出 二 ,计算 停止 . 
例 3.13 用 对 分 法 求解 
min plt)=t— 6:+10, 
st， 1 和 10, 
要 求 最 大 绝对 误差 = 所 0.3， 
计算 结果 见 3.4. 
表 3.4 


-1.75 
—0.625 
2.06875 


极 小 点 t=2.96875. 而 原 问 题 的 精确 极 小 点 为 :" =3, 误差 仅 为 
Ii~£"|=|2.96875-3|=0.03125<e =0.3. 


3.5.5 牛顿 法 


牛顿 法 {Newton method) 的 禁 本 思想 是 ,用 pft 在 已 知 点 友 姓 的 二 阶 Taylor 展开 式 
有 近似 代替 g(1), 即 取 Pregft, 其 中 
gl()= pt) ty (nti) + 2 9 (tt 2). 
用 gt 的 极 小 点 作为 pti) 的 极 小 点 ,由 于 


g(t)= 9 t+ gp (tt ti), 
令 g(t1)=0, 得 到 g(1) 的 驻 点 , 记 作 41, 则 


可 


到 利加 癌症 国 洒 国医 王 四 下 图 


了 


加 回回 


Wy 所 二 i El EE ee 


评 半 


-和 (人 (3.5.17) 
如 果 4 是 w(4) 的 极 小 点 的 一 个 估计 , 那么 利用 (3.5.17) 能 够 得 到 极 小 点 的 一 个 进一步 的 
估计 .如 此 继续 选 代 下 去 , 能 够 得 到 一 个 语 列 |.1 .可 以 证 明 , 在 一 定 条 件 下 ,这 个 序列 收 合 
于 最 优 解 , 而且 是 二 阶 收 伍 ， 

定理 3.33 设 pg(:) 存 在 连续 三 阶 导数 ,i 满足 

yg (1) =0, or 人 天 0， 

初始 点 i 充分 接近 #, 则 牛顿 法 产生 的 序列 | 二 | 至 少 以 二 阶 收 仇 速 率 收 敏 于 上. 

证 明 “牛顿 法 可 定义 为 算法 师 身 


上 ki+TTE 一 fk 


A(t)=4 -0 (3.5,18) 
设 集 合 = 全 上 .定义 函数 
a(t)=|t:—ti. 
下 面 证 明 a 是 关于 解 集 合 吕 和 算法 AA 的 下 降落 数 ， 
设 去 天 4 不 HE 由 (二 ) ,注意 到 已 知 条 忻 


op =0, 
af trl)》 = js 一 上 | 
| 
+ 和 (有 


= TdT p(t) -9 (ti) -i909 (8,)| 
ADA 


-TT 2 lg!, Ei, a). (3.5.19) 
由 于 yg"(1) 和 "(1) 连 续 , pg*(2) 了 0, ,因此 当 5 接近; 时 , 必 存 在 hi, Ra>0, 使 得 在 包含 
和 ; 的 诸 区 同上 的 每 一 点 上 处 ,成 立 


[og Gk, p(t) | ka. {3.5.20) 
将 (3.5.20) 代 和 人 (3.5.19), 则 有 


PEE SAC (3.5,21) 
取 初 始点 t 充分 接近 i, 使 得 
六 la-il<l 
由 此 推 得 
{uCT={|le-iTiR|t -til, 
且 有 


[agri—t | |e —t)|. (3.5.22) 
由 此 可 知 ,a 是 关于 解 集 合 口 和 算法 A 的 下 降 函 数 , 且 为 紧 集 , A (1) 在 个 上 过 续 . 所 以 
|| 收 钱 于 二 ,由 (3,5.21) 又 知 , 1 的 收 和 化 阶 为 2. 
牛顿 法 算法 步 驴 如 下 ，; 


(1) 给 定 初 始点 fo, 允许 误差 6 >0, 令 点 =0，; 
C2) 车 1g (8) | 之 6, 则 停止 渤 代 ,得 到 点 #4 ;否则 转 (3)， 


{3) 计算 点 tharys: 


令 天 = 上 -1, 转 (2)》， 
和 运用 牛 频 法 时 ,初始 点 的 选择 十 分 重要 .如果 初 始点 着 近 极 小 点 , 则 可 能 很 快 下 化 ;如 果 


初始 点 远离 极 小 点 , 选 代 产 生 的 点 列 可 能 不 收 竹 于 极 小 点 . 


3.5.6 抛物 线 法 
撮 物 线 法 的 基本 原理 是 , 在 极 小 点 附近 , 用 二 次 三 项 式 gf( 约 近 伺 地 代替 p(1), 并 以 
g(t) 的 极 小 点 近似 地 民 赫 2(t) 的 极 小 点 . 它 与 牛顿 法 的 不 同 之 处 在 于 :牛顿 法 是 用 去 处 的 
二 阶 Taylor 展开 式 g{:) 来 逼近 pg(z), 中 利用 二 点 的 函数 值 gp(#) 及 其 一 阶 , 二 阶 导数 值 
Pp (EL) ,p(t 来 构造 二 次 沙 数 g(1), 掀 物 线 法 则 是 利用 gp(2) 在 三 点 # 之 1 之 13 处 的 五 数 
值 来 攀 造 一 个 二 次 函数 g(t) =a + t+ ct?, 并 使 它 满足 
g(t1) = pt ti), 
[nr 
E(t) = p(t3), 


由 王 g (1)=b+2e. 
令 g (1)=0, 得 
-__& 
t= 2 (3.5.23) 


(3.5.23) 就 是 计算 p(z) 的 近似 极 小 点 的 公式 , 为 了 求 测 近似 航 小 点 1, 只 需 算出 56,c 


即 可 . 
令 F(t1)= pir P(t2) = P22» p(t3) 一 ?3， 得 
| + Bt + ctr = iy 


a + bt2+ ef2? = 2, 


at+ eta ct = 3. 


人 —t1) te(lttae ~t)= Pz — Pi 


blis— tt2)+ clta ~ 9) = ya — 2. 
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则 得 c= 


ts— £1 
页 也 一 芷 一 十 此 )》 
代入 (3.5.23) 即 可 求 得 g(1) 的 近似 极 小 点 了 

这 里 通常 假设 pg(4)E Cl!, g(11)> P(t2) ,g(t2) 之 p(t3), 可 以 证 明 c >0, 畴 g*(7)>0， 
因而 求 得 的 上 确 是 g (2) 的 极 小 点 , 也 就 是 ¥(2) 的 近似 极 小 点 ,因此 , 选 代 前 必须 先 求 出 满 
足 上 述 条 件 的 三 个 初始 点 .寻找 初始 点 的 方法 , 可 用 前 面 提 供 的 进退 法 ， 

迭代 的 结束 准则 可 以 采用 以 下 几 种 ; | 

(1) 若 ig(2) ~ 2(tz)|<s, 则 迭代 结束 , 取 ti; 否则 ,在 12,4, t2, ts 中 ,选取 目标 函 
数值 最 小 的 点 为 新 的 ,并 使 新 的 ts tf3 是 新 的 za 左右 两 边 的 点 ， 再 继续 进行 选 代 , 直至 获 
得 近似 最 优 解 为 止 . 

(2) 若 j -ta1<s, 则 迁 代 结束 , 取 丰 xc ;否则 继续 进行 选 代 ， 

(3) 若 | pg(2) 一 g(2) | 之 s, 则 和 磷 代 结束 , 取 “和 Aci 5 否则 继 纺 进行 迁 代 . 

抛物 线 法 算法 如 下 ， 

{1) 给 定 初始 点 tir tar 9s 要 求 满足 i tar Pt) > p(t2), pt) pli3). 给 定 允 
许 误差 e >0. 

(2) 计算 u,v,5,c, 根 据 (3.5.23) 得 到 1:， 

(3) 计算 P(E), p(t2), 若 ig(2) 一 yg({z2)| <s, 则 停止 计算 ,得 到 点 否则, 转 (4). 

(4) 计算 p(2),p(i0), g(t2), g(z3). 令 pl)=minl g(t), p(t1), g(t2), oO) 并 
从 得 到 的 ts 点 的 两 边 选取 两 点 ,左边 的 作为 t1, 右边 的 作为 zs 点. 转 (2). 

应 当 指 出 ,上面 介 绍 的 抛物 线 法 并 不 能 保证 算法 一 定 收 伊 , 在 迭代 过 程 中 可 能 出 现 上 _- 
次 选 代 点 & 与 下 一 次 送 代 点 4 ,充分 接近 ,而 外 +1 并 不 是 pg(4) 的 近似 极 小 点 的 退化 情况 . 
但 是 , 闭 已 知 由 抛物 线 法 产生 的 点 列 |4,1 收 合 于 PtE) 的 极 小 点 1:*, 则 可 以 证 骨 ; 在 一 定 条 
件 下 ,抛物 线 法 是 超 线性 收敛 的 , 其 收 伍 阶 约 为 1.3. 


3.5.7 三 次 播 值 法 


三 次 播 值 法 是 用 44, :, 处 的 函数 信 9?(t1), p(t2) 和 导数 值 pg (41), pt) 来 构造 三 次 
插值 多 项 式 g(:), 并 以 g(1) 的 极 小 点 作为 P(t) 的 近似 极 小 点 . 

首先 选取 两 个 初始 点 tl ia, 且 ti < 1,, 使 得 Pt 过 0 9 (#2) >0. 这 样 ,在 区 间 
(11, f2) 内 才 存 在 极 小 点 .然后 利用 在 这 两 点 的 函数 值 和 导数 构 道 一 个 三 次 多 项 式 g(x), 使 
pi)= gC), p(t2)=g(t2), y(t) =g (0), 9 (42) = 8 (1). 

用 这 样 的 g(x) 下 近 目 标 函 数 w(x), 进 而 用 8( 工 ) 的 极 小 点 估计 p(x) 的 极 小 点 .具体 
做 法 如 下 . 


令 Blx)=a(t +o -t+elt ti)+d, (3.5.24) 

有 pt)= g(t1), {3.5.25) 
p(t1)= g(t), (3,5.26) 

Plt2) = g(t2), {3,5.27) 

P(t2) = g (0), (3.5,28) 


把 (3.5.25) 一 (3.5.28) 依 次 代入 (3.5,24) ,得 


d= p(t1), 
c= 9 (i1), 
3.5.29 
a(tr— riot i) +te(ltr -ti) td= p(t2), ( ) 
3alr2—t1} +2b(r2 — t1}+ 二 gq (£2). 
解 方 程 组 (3,5,29), 证 以 求 出 系数 se,5,c,d, 从 而 能 够 完全 确定 多 项 式 (3.5.24) . 
若 求 多 项 式 g(2) 的 极 小 点 ,必须 求 出 满足 | 


g(t)=0 有 及 g(t)>0 


的 点 .可 以 知道 
g (i)=3att— tt +2b(t i) +te, (3.5,30) 
gt)=6a(t -it1)+26. (3.5.31) 
因此 令 g tt) =0, 即 
a(t i) +2b(t -1)+e=0. (3.5.32) 
解 方程 (3.5.32), 有 两 种 情形 、 
(1) 当 0 = 人 0 时 ,得 
_ 四 
一 4 一 一 2 (3.5.33) 
(2) 当 a 天 0 时 ,得 
-n= ee (3.5.34) 
以 上 得 到 两 种 情形 下 g(:) 的 蔡 点 +. 


在 第 -一 种 情况 下 , g”(:)=26 >0. 这 是 因为 ,由 假设 及 (3.5.29) 可 知 
c= (i)<0, p (tt) >0, £2 ti. 
因此 由 (3.5.29) 第 4 个 方程 得 p>0. 故 + 是 g(z) 的 极 小 点 . 
在 第 二 种 情况 下 , 把 方程 的 两 个 根 (3.5.34) 代 入 (3.5.31), 有 
g(t)=6a(t—t1)+2b 


-6 -bt yb — oc 
一 十 


5 25 
= +2 V 好 -3eac， 
为 求 满足 二 阶 充 分 条 件 的 点 ,即使 gt) >0 的 点 ,显然 ,在 (3.5.34) 中 应 取 
i (3.5.35) 
当 a =0 时 ,5>0, 因 此 由 (3.5.35) 得 
44= 一 六 


这 个 结果 愉 是 {3.5.33). 这 表明 (3,5.35) 是 在 a=0 和 as 天 0 两 种 情形 下 极 小 点 的 统一 表达 
式 


这 样 ,可 以 解 方程 级 (3.5.29), 求 出 系数 a,5,c, 再 代入 (3.5.35), 只 而 得 到 gtt) 的 极 
小 点 z， 


下 面 求 系数 a,b,c. 由 (3.5.29) 的 第 三 个 方程 , 得 
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a rot t= Pa 


t2— tl 
令 ta pi) Pp p(t £1), 
ta— ti tr— tl 
得 alt2— 1) + H(t2— 11)=u, 


由 (3.5.29) 的 第 四 个 方程 ,得 . 
a(t — 1) +2b(lt2 i)= 9 (12) -ce. 


令 v= 9 (tc=¢ (it) p(t), 
得 3a(t2— 1t1) +26(12 -ti1)=v, 
消去 a, 得 


3u-—v U2 
a (2 
将 a,5,c 代入 (3.5.35), 即 可 求 得 g(t) 的 极 小 点 上 
车 1p (2) | 之 8, 则 取 t'st, 否则 继续 进行 达 代 , 当 gp (z)<0 时 ,用 z 代 苦 旭 1, 否则 用 z 
代替 tz, 直到 得 到 所 要 求 的 近似 极 小 点 为 止 ， 
三 次 插值 法 算法 如 下 : 
(1) 给 定 初始 点 上 ,fa 计算 pCi0), gt 9 (12), 要 求 满足 之 2, (1) 邯 
0, pta)>0, 给 定 允许 误差 s>0， 
(2) 按照 (3.5.35) 计 算 ,wv,a,5,t. 
(3) 计算 wp .车 g'(1)=0, 则 停止 计算 ,得 到 点 .否则 , 转 (4). 
(4) 落 yg (7)<0, 则 令 训 = p(ti)= gl ,yp (1)=p (2), 转 (2); 若 yp'(1)>0, 则 令 
t=t, p(t2) = pt) g(t2) = gp (zt), 转 (2), 
为 说 明 算 法 的 使 用 , 举 一 个 简 例 . 
几 3.14 用 宇 次 插值 法 求解 间 题 ; 
min g(t)}= 127-31+1, 
st. TD 二. 


到 初始 点 1 =0, 12 二 2, 计 算 如 表 3.5 所 示 , 和 经 一 次 渴 代 达到 极 小 志 上 = 1 
衷 3.5 


£1 pita) 
D 


p (21) 
4 0 | 0 


三 次 插值 法 的 收效 阶 为 2, 一 般 认 为 这 种 方法 优 于 抛物 线 法 ， 


3.6 最 速 下 降 法 


无 约束 非 线性 规划 间 题 的 解法 很 多 , 包括 最 速 下 降 法 , 牛 巾 法 、 共 轮 梯 度 法 ,、 变 尺度 法 、 
直接 搜索 法 等 .这 些 方法 在 以 后 将 经 常用 到 ,也 是 学 习 约 束 优 化 方法 的 基础 ， 

一 般 来 说 ,无 约束 问题 的 求解 是 通过 一 系列 一 维 搜索 来 实现 的 ,因此 ,如 何 选择 搜索 方 
向 是 解 无 约束 问题 的 核心 问题 ,选择 不 同 的 搜索 方向 ,形成 了 不 同 的 最 优化 方法 . 下面, 分别 


介绍 各 种 算法 . 

最 速 下 降 法 (steepest descent method ,也 叫 梯 庶 法 {gradient method) ,是 1847 年 法 辆 著 
名 数学 家 Cauchy 最 早 提 出 的 , 后 来 , Cauchy 等 人 又 作 了 进一步 的 研究 . 最速 下 降 法 是 一 种 
最 基本 的 算法 ,并 且 对 其 他 算法 的 研究 也 很 有 启发 作用 ,后 来 提出 的 不 少 算 法 者 是 人 们 试图 
改进 这 名 算法 的 结果 .下 面 先 来 讨论 怎样 选择 了 最速 下 降 方 向 . 

考 虚 无 约束 问题 min f(x),xEE". (3.6.1) 
其 中 , 淆 数 F(x) 具 有 一 阶 连 续 从 导数. 

设 4 为 任意 给 定 的 一 个 单位 向 量 ,# 为 正 实数 , F(x) 在 x 中 处 的 Taylor 展开 式 为 

FE 十 td)= f(r)+ (Wr TA + o(#). 
其 中 ,of 是 的 高 阶 无 穷 小 ,而 
Yr = yr) .lalcos( WY x), a) 
= (x) | eost YrD), a), 
所 以 , 当 ( 交 (x 中), 4d) ==x 时 , 即 
x 
(x) 
时 , f(x) 在 x 中 点 笛 近 下 降 最 快 ,因此 , 称 4 为 F(x) 在 x 外 点 的 最 速 下 降 方 向 . 

最 速 下 降 算 法 步 又 如下: 

(1) 给 出 初始 点 x 中 EE", 和 精度 :>0, 令 训 =0; 

(2) 计算 W(x 和 ); 

{3) 若 闵 (x 中) 全 之 e, 则 选民 结束 , 取 x= x 中 ,否则 转 (4); 

(4) | C(x) | 源 e, 用 一 维 搜索 求 gC) = 了 x 人 一 W(x 人 相 )) 的 一 个 极 小 点 吉 , 使 
FE 和 (区 六 区) 

(5) 倒台 一 (站) ,到 = 上 +1, 转 (2)， 

不 如 证 明 好 给 出 收 敏 性 定理 : 设 f; FEF” 一 EE! 连续 可 微 ,x 个 EE", 如 果 水 平 集 工 = [x| 
fx) 所 f(x 中 有 界 , 则 最 速 下 降 法 或 者 在 有 限 步 伙 代 后 停止 ,或 者 得 到 点 列 1x‘* | 的 任何 
极限 点 都 是 f(x) 的 稳定 点 .车 进一步 假设 fr) 为 凸 函数 , 则 应 用 最 速 下 降 法 , 或 者 在 有 限 
步 选 代 后 达到 F(x) 的 最 小 点 ,或 者 得 到 点 列 |x"*)| 的 任何 极限 点 都 是 f(x) 的 最 小 点 . 

盟 束 下降 法 方法 简单 , 每 选 代 一 次 的 工作 量 较 小 , 所 需要 的 存 贮 量 也 小 ,即使 从 一 个 不 
好 的 初始 点 出 发 ,也 能 保证 算法 的 收敛 性 . 

最 速 下 降 法 的 缺点 是 在 极 小 点 附近 收 伍 得 很 慢 . 由 于 梯度 是 函数 的 局 部 性 质 , 从 局 部 
看 ,在 一 点 峙 近 下 降 得 快 ,但 从 总 钵 上 来 看 可 能 走 许 多 弯路 .事实 上 , 若 xt7+0 是 税 方 向 d 
= 一 YCx' 中 ) 用 一 维 搜索 求 得 的 , 即 站 为 pfi = FY + 地 的 ) 的 极 小 点 ,那么 pf 在 六 
的 一 阶 导数 为 零 , 邯 


三 三 


Wr + DTY( xr) =0, 
这 说 明 相 邻 的 两 个 选 代 方 向 正 交 , 尝 民 路 线 呈 锯齿 状 , 尤其 是 在 极 小 点 附近 , 锯齿 现象 尤 为 
严重 ,从 而 影响 了 先 代 速度 . 
此 外 ,最 速 下 降 法 的 收 合 速 度 与 变 基 的 尺度 美 系 很 大 ,县 关 于 小 的 扰动 是 不 稳定 的 ,会 
入 误差 的 存在 或 一 维 盾 索 时 步 长 确定 的 不 准确 ,都 可 能 破坏 方法 的 收敛 性 . 
但 是 ,最 速 下 降 法 的 适应 面 很 宽 , 它 仅仅 要 求 函 数 可 微 , 离 极 小 点 较 远 的 地 方 , 其 效果 较 
好 ,而 离 极 小 点 较 近 的 地 方 , 其 效果 较 差 ,函数 值 改进 很 慢 . 因 此 , 常常 在 计算 开始 时 使 用 最 
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速 下 降 法 , 而 在 迭代 一 段 时 间 后 , 改 用 其 他 算法 ， 
3.7 和 牛顿 法 


座 前 讲 过 求解 一 维 向 题 的 牛 账 法 ,可 以 将 它 推广 到 多 维 的 铺 襄 .这 个 方法 也 是 求解 无 约 
束 极 值 问题 的 最 古老 的 方法 之 一 ,已 发 展 成 为 一 类 算法 . 


3.7.1 丫 题 法 


与 一 维 问题 类 做 , 在 局 部 用 一 个 二 次 浮 数 g(x) 近 似 地 氏 蔡 目标 函数 f(x), 然后 用 
g(x) 的 极 小 点 作为 fx) 的 近似 极 小 点 . 

设 x 是 f(x) 的 一 个 近似 极 小 点 ,将 fx) 在 x 点 进行 Taylor 展开 , 并 略 去 高 于 二 
次 的 项 , 则 得 


flx)= g(x) = f(x':)) 十 (F(x OT — x}) 十 羡 (x — x trv xy) x 一 下 (0 


容易 求 得 Bx)= V(x) Tx Cx x), 
当 Hessian 和 矩 阵 Y¥(x 和 中 ) 可 逆 时 , 令 咒 (x)= 人 0 得 g(x) 的 极 小 点 为 
=x [vr] Yr ), 
取 工 作为 Ax) 的 近 亿 极 小 点 ,就 得 到 牛顿 法 的 送 民 公式 
x Dx [VD] wrt). (3.7.1) 

其 中 , [VY ?f(x 中 )] -1 是 Hessian 矩阵 了 270xzt) 的 道 韦 阵 ， 

记 d 中 = 一 [V(x 中)] YYCzG) 通常 称 划一 1Y2F(xt (zt) 为 牛顿 
方 刹 (Newton direction). 

《3.7.1) 表 明 , 从 当前 点 x 中 出 发 , 沿 牛 顿 方向 搜索 , 取 砂 长 为 1, 即 可 达到 xtt*0 .这 
样 ,知道 x 人 名 后 ,算出 在 这 一 点 处 目标 函数 的 梯度 和 Hessian 矩阵 的 道 代入 (3.7.1), 使 得 到 
振 继 点 x + , 依 此 类 推 ,产生 序列 ix ,在 适当 的 条 件 下 , 这 个 序列 收 合 ,但 是 , 如 果 
gt) 与 F(z) 相 差 过 大 ,那么 牛 幅 方向 可 能 不 是 下 踪 者 向 ,最 优 步 长 可 能 不 为 +. 也 就 是 说 
有 可 兹 出 现 Fxt 5)> FFOzto) 的 情形 .这 时 ,应 改 用 其 他 下 降 方向 , 如 最 速 下 降 方向 , 再 进 
行 一 维 搜索 . 

牛顿 法 算法 步 又 如 下 : 

(1) 给 定 初 始点 xto) ,s 为 事先 给 定 的 小 正 数 , 令 天 =0. 

(2) 计算 (x 人 中) ,车 有 (x) 用 之 e 成 立 , 则 和 沈 代 停止 ,x 人 中 即 为 所 求 ;否则 转 (3). 

(3) 计算 [了 Cxt)] -5 得 db= 一 [YaFUCxtoD)] ISOxto)， 

(4) 念 工人 一 tt 十 如 天 一 天 十 1 返回 (2)， 

可 以 证 明 , 在 适当 的 条 件 下 ,牛顿 法 的 收 钱 速度 估计 式 为 

xD rl x x 2, 

其 中 ,x 为 F(x) 的 极 小 点 , 即 千 幢 法 至 少 是 二 阶 收敛 的 ， 

由 此 可 唤 , 牛顿 法 的 突出 优点 是 收敛 速度 快 , 当 牛 顿 法 应 用 于 具有 正定 Hessian 和 矩阵 的 
二 雇 函 数 时 , 只 项 一 次 选 代 即 可 达到 无 约 划 全 局 极 小 点 , 表明 牛顿 法 具备 有 限 收 化 性 . 


3.7.2 阻尼 牛顿 法 
牛顿 法 要 求 目标 函数 二 阶 连 续 可 微 ,而 且 在 选 代 过 程 中 , 进行 矩阵 求 道 的 运算 也 比较 困 


难 .此 外 ,牛顿 法 对 初始 点 的 选择 要 求 高 , 当初 始点 xf 接近 极 小 点 ,牛顿 法 很 有 效 , 但 当 
x 站 离 极 小 点 较 远 时 ,Hessian 矩阵 V2r(zt) 常 常 是 奇异 的 , 牛 晨 方 向 不 存在 .因此 , 应 尽 醋 
能 选择 目标 值 较 好 的 点 作 初始 点 .为 了 克服 这 个 缺点 ,人们 对 算法 作 了 修正 ,提出 了 " 险 足 牛 
顿 法 ”, 又 称 修正 牛顿 法 (revised Newton method)， 

在 牛顿 法 中 , 步 长 i 总 是 取 为 1. 在 阻尼 牛 额 法 中 ,每 步 沿 交 代 方向 

d'*!=— [YFCx tt x) 
进行 一 维 搜索 来 决定 t, 即 取 使 
Fx + td +)) =minf (x + td tty, 
得 到 阻尼 牛顿 法 的 迭代 公式 
yD x 4 de), 

诅 尼 牛顿 法 保 持 了 牛 幅 法 快速 收敛 的 优点 , 又 不 要 求 初始 点 选 得 很 好 , 因而 在 实际 应 用 
中 取得 了 较 好 的 效果 . 

阻尼 牛顿 法 算法 步 双 如下: 

(1) 给 定 初始 点 x 中 ,se 为 事先 给 定 的 小 正 数 , 令 上 =0. 

(2) 计算 WCx 呈 ,车 上 于 Cx 呈 ) 和 之 se 成立 , 则 达 代 停止 ,x 全 即 为 所 求 ;否则 转 (3). 

(3) 计算 [V(x9)] 得 = 一 [V(r] W(x). 

(4) 沿 4 进行 一 维 搜索 , 即 求解 

Fr) 十 dD) =minf(x‘® + dy, 

得 到 的 上 是 一 维 搜索 的 最 优 解 . 

(5) 信人 一 人 十 下, 二 二 二, 返回 (2)， 

由 于 阻尼 牛顿 法 含有 一 维 搜索 , 因此 每 次 授 代 目标 函数 值 一 般 有 所 下 降 . 可 以 证 明 , 路 
尼 牛 顿 法 在 适当 的 条 件 下 具有 全 局 政 敏 性 , 且 为 二 阶 收敛 ， 


3.7.3 牛顿 法 的 进一步 修正 


牛 巾 法 和 阻尼 和 后 巾 法 虽然 不 同 , 但 有 共同 缺点 :由 于 可 能 出 现 Hessian 窍 阵 了 ?f(x) 奇 异 
的 情形 , 因而 不 能 确定 后 继 点 .此 外 ,即使 2(x) 非 奇异 ,也 未 必 正 定 ,因而 牛顿 方向 不 一 定 
是 下 降 方向 ,这 就 可 能 导致 算法 失效 ， 

为 使 牛 帆 法 从 任 一 点 开始 均 能 产生 收 仑 于 解 集合 的 点 列 1x 中 |, 需要 作 进 一 步 的 恬 正 .， 
人 们 在 这 方面 做 了 不 少 工作 , 共同 的 着 眼 点 在 于 克服 Hessian 短 阵 V2Ftx) 非 正定 的 娘 难 . 解 
决 Hessian 短 阵 V2F(x) 非 正定 的 问题 的 基本 思想 是 , 履 正 V7?F(x), 构 造 一 个 对 称 正定 算 阵 
Go 用 Gi 取代 害 阵 Y2F(x), 从 而 得 到 在 点 x** 相 的 下 降 方 向 

本 二 一 Gi! Vx ), 

青 沿 此 方向 作 一 维 搜索 . 

下 面 来 构造 害 阵 G,. 令 Gi = 27(x(D) +e， 
其 中 , 工 是 m 阶 单位 矩阵 ,e, 是 个 适当 的 正教 . 只 要 6 选择 的 合适 , G, 就 是 对 称 正定 矩阵 ， 

事实 上 ,如 果 是 V2Ftx(*} 的 特征 值 ,那么 二 6; 就 是 Cl 的 特征 值 . 只 要 6, >0 取得 
足 驶 大 , Gi 的 特征 值 便 均 为 正 数 , 从 而 保证 了 Gi 的 正定 性 . 


3.8 苍 方向 法 


最 速 下 跨 法 计算 步骤 简单 , 但 收敛 束 度 太 氏 ; 牛 顿 法 和 阻尼 牛顿 法 收敛 速度 快 , 但 要 计 
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算 二 阶 偏 导数 短 踊 及 其 道 阵 , 计算 量 太 大. 因此, 人们 和 希望 找 出 一 种 算法 , 它 要 兼 有 这 两 种 方 
法 的 优点 , 又 能 克服 它们 的 缺点 . 共 罗 方 向 法 就 是 这 样 一 类 方法 , 它 比 最 速 下 降 法 的 收 误 速 
度 快 得 多 , 同时 又 避免 了 和 牛顿 法 所 要 求 的 Hessian 符 阵 的 计算 积 求 道 ,下面 介绍 共 罗 方 向 法 
(conjugate direction method), 首先 引入 共 斩 的 概念 . 
定义 3.18 共 辆 {eoniugatey 设 上 各 是 axir 对 称 正 定 矩阵 ,车 E* 中 的 两 个 方向 4 和 
42 满足 
dTAd) =0, (3.8.1) 
则 称 这 两 个 方向 4 中 和 dt 关于 4 共 斩 , 或 称 它 们 关于 4 正 交 ， 
车 dd 人 ,-…,d 是 E" 中 的 上 个 方向 ,它们 两 两 关于 4 共 斩 , 层 满 足 
dTAdD)=0, i},i,j=1,.,k, (3.8.2) 
则 和 丈 这 给 方向 是 A 共 纯 的 ,或 称 它们 为 A 的 二 个 共 罗 方 向 ， 
在 上 述 定 文中 ,如果 和 为 单位 矩阵 , 则 两 个 方向 关于 4 共 辆 等 价 于 两 个 方向 正 交 . 田 
此 共 秽 是 正 交 概 念 的 推广 .实际 上 , 如 果 4 是 一 般 的 对 称 正 定 矩阵 ,dt 和 a 中 关于 4 共 
辑 , 也 就 是 方向 4d 人 站 与 方向 Ad 仆 正 交 . 
现在 ,以 正定 二 次 函数 为 傅 , 来 观察 两 个 方向 关于 矩阵 4 共 罗 的 几 休 意义 .之 所 以 以 二 
次 葬 数 为 例 , 是 因为 二 次 军 数 是 一 种 简单 的 非 线性 函数 , 而 一 般 的 目标 钱 数 在 极 小 点 附近 的 
性 态 妈 近似 于 二 次 函数 , 人们 常常 把 二 次 函数 作为 衡量 一 个 算法 优 劣 的 尺 认 .如果 一 种 算法 
对 于 二 次 男 数 的 效果 尚且 不 好 , 就 礁 以 指望 它 对 于 一 般 沙 数 会 有 更 好 的 效果 .因此 , 在 研究 
算法 时 ,常常 是 首先 对 二 次 函数 进行 分 析 , 然后 再 推广 到 --- 般 的 自 标 函数 . 
设 有 二 次 函数 
J(x) = 二 (xz TAC 一 部)， (3.8.3) 
其 中 , & 是 n xn 对 称 正定 矩阵 , * 是 一 个 定点 .函数 ftx) 的 等 值 面 
B(x-x) AC -KE)=e 
是 世 x 为 中 心 的 椭 球 面 .由 于 
V(x)= Atx -x)=0, 
4 正定 , 提 此 x 是 F(x) 的 航 小 点 . 
设 * 必 是 在 某 个 等 值 面 上 的 一 点 ,该 等 值 面 在 点 x 山 处 的 法 向 量 为 
V(r)=A(x -x). 
叉 设 4d 是 这 个 等 值 面 在 x 小 处 的 一 个 切 向 量 . 记 
d=x x 
自然 地 ,40 与 Cx 人) 正 交 , 即 dT 了 W(x 他 )=0, 因 此 有 dTAd'2=0, 即 等 值 而 上 一 点 
外 的 志向 其 与 由 这 一 点 指向 和 极 小 点 的 向 基 关 于 有 共 轿 . 
由 此 可 知 , (3.8,3) 上 所 定义 的 二 次 函数 ,车 依次 沿 着 4 中 和 4 中 进行 搜索 , 则 经 过 两 次 选 
做 必 达到 极 小 点 . 
定理 3.34 设 A 是 n 阶 对 称 正定 短 阵 , d 中 ,a ,…, d 避 是 上 个 各 共 轿 的 非 零 向 量 ， 
则 这 个 向 量 组 线性 无 关 . 
证 明 设 存在 数 a1, 4a;,…,a; 使 得 


上 


2ad = 0, (3.8.4) 


i=1 


商 端 左 冬 41074 ,根据 向 量 组 关于 4 共 罗 的 假设 ,得 
ad' TAd' =0. (3.8.5) 
出 于 4 是 正定 矩阵 , a'? 是 非 零 向 量 , 因 此 在 (3.8,5) 中 , dTAd' >0, 从 而 得 出 
a 一 0， 二], 友 ， 

因此 di de), 2 4 ;线性 无 关 ， 

推论 在 = 维 空间 中 ,. 任 一 共 力 向 量 组 最 元 包 合 wn 个 向 基 ， 

显然 , 若 有 az 个 非 零 向 晤 dD?, 2,3t) 构 成 一 个 共 轿 向 是 组 , 则 E" 中 的 任何 向 基 
均 可 由 它们 线性 表 上 出 ， 

车 mt{m 达 nn) 个 向 量 是 共 思 的 , 则 其 所 有 线性 组 合 的 集合 是 一 个 mr 维 的 线性 子 空间 . 
例如 在 三 维 空 间 中 , 任意 两 个 共 斩 庙 量 都 下 以 生成 一 个 过 原点 的 平面 (二 维 线 性 子 空间 ) . 引 
人 记号 


L(x ;dtd,.., dtm}) = {x 1x = x 十 Sd, ts E {~ 四 ， 十 co)), 
i=l 


定义 3,19 线性 流 形 设 xDEEn，d,at do 是 产 * 中 因 个 线性 无 关 向 量 ， 
则 称 集 合 LOxGid ,at 是 由 点 Yo 和 向 量 组 (dd …, dt 所 生成 的 线性 流 
形 . 

定理 3.35 扩张 子 空间 定理 设 有 阔 数 


Fer) = Tx TAxtbTrte. 


其 中 ,4 是 n 阶 对 称 正定 矩阵 ,440 ,4d 人 3,…, dt*) 是 和 4 共 固 的 非 等 向 量 . 以 任意 的 x 人 EE" 
为 初始 点 ,依次 消 d 中 ,4d 人 9,…, qd‘ 进行 一 维 搜索 ,得 到 点 xz， xD 则 x 全 7 
是 滑 数 fx) 在 线性 流 形 L(x 中 ;dd 中,…, ac) 上 的 唯一 极 小 点 .特别 地 , 当 上 = n 时 ， 
ze 是 函数 A(x) 在 E" 上 的 唯一 极 小 点 ， 

证 明 记 


Bi= {rix= Dd, € (- %, + o%)}, 
则 B, 是 #2， dd 生成 的 子 空间 ， 
由 于 F(x) 是 严格 凸 沙 数 , 因 此 要 证 明 x4* 是 函数 F(x) 在 线性 流 形 L(x ;da .…， 
da‘ ) 上 的 唯一 极 小 点 ,只 需 证 明 在 点 x** 处 ,函数 的 梯度 久 (x4*D) 与 子 空间 Bi 正 交 ， 
用 归纳 法 证 明 久 (x**') 上 B;. 为 书写 方便 ,以 后 在 不 致 混淆 的 情况 下 , 用 g 表示 栈 数 
了 f(x) 在 xt 信 处 的 梯度 , 即 
& = (x0). (3.8.6) 
证 明 gj +1 | Bi;, 对 上 归纳 . 
当 此 =1 时 ,由 一 维 搜索 定义 知 g2 Bi. 
假设 当 = mm < 时 ,gw+1 上 Bm, 证 明 go+z B+1. 由 二 次 函数 梯度 的 表达 式 和 点 
x + 的 定 尺 ,有 
Bm+2= Ax'™+2) +p 
一 成 (和 (+ 和 十 tm+id™ ty +h 


= gmtit tm+iAd i™td), (3.8.7) 


利用 (3.8.7) 可 把 4 和 下， 的 内 积 写 成 


和 (DTg ra=d lg rt tnrid TAd™*h. {3.8.8) 
当 i= m+1 时 ,由 一 维 搜索 定义 可 启 
dm i Te, +2=0; (3.8.9) 
当 1 所 i 氨 m+ 1 时 ,由 归纳 法 假设 ,有 
dNTg,+1=0. (3.8.10) 
由 于 300， dt 关于 4 共 印 ,有 
EDTAdCm+D =0. (3.8.11) 
由 (3.,8.8) 一 (3.8.,11) 可 知 
d(Tp,, ,2 =0, 
邑 gm+2 | Bm+1. 


根据 以 上 证 明 , x *D 了 是 fx) 在 线 狂 流 形 (x 中; dd 中,…, go0)7 上 的 极 小 点 ,由 于 
Fffxz) 是 严格 古 函 数 ,因此 点 xt 必 是 此 波形 上 的 唯一 极 小 点 ， 

当 上 =n 时 ,at ,dp dt 四 是 E” 的 一 组 基 , 此 时 必 有 g++1=0, 这 是 显然 的 .如 果 
gr+1 天 人 则 有 

fn+l= Ald + 二 

等 号 两 端 左 滋 gi,1, 则 等 号 左 端 大 于 零 , 等 号 右 端 竺 于 零 ,这 是 不 可 能 的 .由 于 gt= 小 因 
些 ,xt 0 是 函数 f(x) 在 E" 上 的 唯一 极 小 点 . 

挫 启 ”在 定理 3.35 的 条 件 下 , 必 有 

gaO=0， VY jk. 

上 述 定 瑞 表 明 , 只 要 能 选取 一 组 共 辑 方向 80 ,4 ,dt ,就 可 以 在 n 步 之 内 求 得 
二 次 凸 画 数 的 极 小 点 , 称 这 种 算法 为 共 罗 方 向 法 , 共 斩 方 向 法 具有 有 限 收 侣 性 ， 

夫 固 方向 法 ,主要 是 其 中 的 共 因 梯 度 法 (conjugate gradient method)., 1932 年 , Hesteness 
和 Stiefel 为 求解 线性 方程 组 而 提出 了 共 桃 宰 度 法 . 后 来 ,人 们 把 这 种 方法 用 于 求解 无 约束 优 
化 问题 ,1964 年 , Fletcher 和 Reeves 提出 了 F-R 共 辆 梯度 法 ,简称 FR 法， 

FR 法 的 基本 思想 是 把 共 轰 性 与 最 速 下 降 方法 相 结 合 , 利用 已 知 点 处 的 梯度 构造 一 组 
共 罗 方向 , 并 沿 这 组 方向 进行 搜索 , 求 出 目标 函数 的 极 小 点 .根据 共 轿 方向 的 起 本 性 质 , 这 种 
方法 具有 二 次 终止 性 ， 

先 讨 论 对 于 二 网 凸 函数 的 共 斩 梯 度 法 ,然后 再 把 这 种 方法 推广 到 极 小 化 一 般 范 数 的 情 
形 . 

考虑 问题 


min f(x) =xTAxr+ bx +e. (3.8.12) 
其 中 ,x EE*, A 是 对 称 正定 短 阵 ,< 是 常数 . 
具体 求解 方法 如 干 . 


首先 ,任意 给 定 一 个 初始 点 x* 人 ,计算 出 目标 函数 F(x) 在 这 点 的 梯 嵌 ,车 gi =0, 则 
停止 计算 ;否则 , 邻 

d= W(x)= — g, (3.8.13) 

沿 方 向 a 中 搜索 ,得 到 点 x 中 .计算 在 x 中 处 的 梯度 ,车 上 g; | 天 0, 则 利用 ~- ga 和 40 构造 


第 二 个 搜索 方向 42) ,再 港 4 中搜 索 . 
一 般 地 , 若 已 知 点 x 中 和 搜索 方向 4 则 从 x 侣 出 发 , 沿 4 进行 搜索 ,得 
rDev dt, (3.8,14) 
其 中 , 步 长 i 满足 
fr) + td 4)) = minf (x't’ + td), 
可 以 求 出 二 的 显 式 表 达 式 , 令 
p= f(x + ad), 
求 pg(2) 的 圾 小 点 , 令 vy (t= Wr tTa =0., (3.8.15) 
根据 二 次 函数 的 梯度 的 表达 式 , (3.8.15) 即 
(AxrC+D) rH)Tdt) =0, 
(ACxd) trad)+ bh) Td = 0, 


(gt tAdt)) Ta =0, 《3.8.16) 
出 (3.8.16) 得 
TH 
fi ry ok {3.8. 17}) 


计算 f(x) 在 x** 吕 处 的 梯 谋 .车 革 ge+1 上 =0, 则 停止 计算 ;否则 ,用 一 名 ,和 ad"* 桔 造 
下 一 个 搜索 方向 4**n, 并 使 2 和 dt* 关 于 4 共 思 . 构 井 
dt ~ grit ord't), (3.8.18) 
两 端 左 来 gd "A, 并 令 
dTAd*t*Do dTAgeri + od TAd}=0, 
由 此 得 


dTAg, +1 
a TAd (3.8.19) 


在 从 x 人 + 出 发 , 宁 方 向 d+ 搜索 ， 
综 上 分 析 , 在 第 一 个 搜索 方向 取 负 樟 度 的 前 提 下 , 重复 使 用 (3.8.14),(3.8.17)， 
(3.8.18) 和 (3.8.19), 就 能 伴随 计算 点 的 增加 , 档 壮 出 一 组 搜索 方向 . 
定理 3.36 ”对 于 正定 二 次 函数 (3.8,12), 上 具有 精确 一 维 搜 索 的 FR 法 在 mm 去 次 一 维 
搜索 后 即 终 目 ,并且 对 所 有 if1 委 ;安生 ) ,三 麟 关系 成 立 ; 
(1) dOTAd D0, j=1,2,.…,i~1; 
(2) glg; =0, 了 二 12 
(3) gid = ~ gle:. 
证 明 显然 m 实 1. 现 在 用 归纳 法 证 明 上 述 三 个 关系 ,对 i 归纳 . 
当 i=1 时 ,由 于 d= 一 gy, 因 此 (3) 成 立 ; 
当 ;i=2 时 ,关系 (1 和 (2 成 立 , 从 而 (3) 也 成 立 . 
设 对 某 个 i < mm, 这 些 关 系 均 成 立 , 证 明 对 于 ;+ 1 也 成 立 ， 
先 证 (2), 由 选民 公式 
x + sd, 
谓 油 左 委 4 ,再 加 上 4$, 得 
giri= gi + tAd, {3.8.20) 


过 迪生 


DEED EERE LL: LL EE bE 


和 站 
Fw” Ta 


其 中 ,z; 由 (3.8.17) 确 定 , 即 
Tdi) lg 
ti reyes a Dia, (3.8.21) 
考虑 到 (3.8.18} 和 (3.8.20), 则 
glr1g; 二 [8 十 tAd'n)) Tg, 
=glg td TA -di +ta i401). (3.8,22) 
{注意 , 当 j=1 时 , 式 (3,8.22) 应 改写 成 gJyg1= glg1 -td TAd) 
当 上 j= 时 ,由 担 纳 法 假设 QTAd' =0, 根 据 (3.8.21), 有 
-td (OTAd) = — glgr, 
因此 glrig:=0. 
当 ji 时 ,根据 归纳 法 恨 设 , (3.8.22) 等 号 右 端 各 项 均 为 零 ,因此 gl,18; 一 0. 
下 证 (1), 运 用 (3.8.18) 和 {3.8.20), 则 
dTAd = (~ girrt ad' oT Ad) 


Ei+l 
当 j=i 时 ,把 (3.8.19) 代 入 上 式 第 一 个 等 号 的 右 端 , 妈 得 
di+DTAdW =0. 
当 7< 时 ,由 前 曾 已 经 证 明 的 结论 和 归纳 法 假设 , 式 中 第 二 个 等 号 右 端 显然 为 零 ,因此 
d+DTAdD =0. 


= pT 和 全 dtDOT4d40 
i 


最 后 证 (3), 易 知 
gid d= ghil ~ grit ad(n) = 一 gir lBitl. 
综 上 所 证 ,对 于 i +1, 三 种 关系 也 成 立 ， 

由 上 述 证 明 可 知 , FR 法 所 产生 的 搜索 方向 4 人 ,dd ,相思 是 4 起 罗 的 ,根据 定理 
3.35, 经 有 限 步 近代 必 达 极 小 点 . 

这 里 变 着 重 指出 ,初始 捷 索 方向 选择 最 速 下 降 方向 (80 = 一 (x 路)) 十 分 重要 ,如 果 
选择 别 的 方向 作为 初始 方向 , 其 余 方 向 均 按 FR 法 构造 ,那么 极 小 化 正定 二 次 函数 时 , 这 样 
构造 出 来 的 一 组 方向 并 不 能 保证 共 欧 性 ， 

定理 3,37 对 于 正定 二 次 函数 ,FR 法 中 因子 为 


_ 2 
se i>1, g; 0. 


证 明 利用 已 有 知识 ,直接 推导 如 下 : 
STAR DCXG+D xO) /sr, 
dTAdD) DOTATYO+U 一 人) fe 


人 | 二 


_ ESi+1 一 8 _ gl+igis!  | 人 | 
(8 人 pg) dg 一 da (3.8.23) 


gi 
根据 定理 3.36, dDTg= - |g 站 2， 


, . 鱼 
5 (3.8.24) 


对 于 二 次 上 同 晴 数 ,FR 法 的 计算 步 驴 如 下 ， 


(1) 给 定 打 始点 x 人 , 令 让 =1， 

(2) 计算 = W(x 中 ), 若 上 go 上 =0, 则 停止 计算 ,得 点 =x 中; 否则 , 转 (3). 

(3) 构造 搜索 方向 , 令 

d= 一 中 +t aid tt-), 
其 中 , 当 率 = 1 时 , ay -1=0; 当 名 >1 时 , 按 (3.8.24) 计 算 因 子 ww _-， 

(4) 令 x rt pd). . 
其 中 , 按 (3.8.17) 计 算 步 长 六 

{5) 若 训 =, 则 停止 计算 ,得 点 x 二 x 个 * 中 ;否则 , 令 关 = 衣 +1, 转 步 (2). 

对 于 任意 函数 f(z), 需 要 对 上 述 用 于 二 次 函数 的 其 轿 宰 度 法 进行 推广 , 推广 后 的 共 固 
梯度 法 , 与 原来 方法 的 主要 差别 是 , 步 长 点 不 能 再 用 (3.8,17) 计 算 , 必须 用 其 他 一 维 搜索 方 
法 确定 ,此 外 , 凡 用 到 类 阵 & 之 处 ,需要 用 现行 点 处 的 Hessian 抢 阵 名 27(xt] .显然 ,用 这 种 
方法 求 任 厚 函 数 的 极 小 点 ,一 般 来 说 ,通过 有 限 步 法 代 是 达 不 到 的 .人选 代 的 延续 可 以 采取 不 
问 的 方案 .一 种 是 直接 延续 , 即 总 是 用 (3.8.18) 构 造 搜索 方向 ;一 种 是 把 n 步 作 为 一 轮 ,每 
搜索 一 轮 之 后 , 取 一 次 最 如 下 降 方 向 ,开始 下 一 轮 . 后 一 种 策略 称 为 “重新 开始 "或 " 重 览 ”. 每 
2 次 近代 后 以 最 速 下 降 方 向 重新 开始 的 共 纱 梯度 法 ,有 时 称 为 传统 的 共 轿 梯度 法 . 

下 面 给 出 FR 法 的 算法 。 

{1) 给 定 初 始点 * 介 ,允许 误 益 es>0, 置 

YL 一 x Lt, dl 二 Vr), 天 一 =， 
(2) 妹 果 上 wy ) 上 <s, 则 停 正 计算 ;否则 , 作 一 维 搜索 , 求 二 ,满足 
十 td = minf (y+ dn), 


今 yD = y+ td0). 

(3) 如 果 jy 之 nn, 转 (4) ;否则 , 转 (5). 

(4) 令 di+D=— Wyu D0) + add), 
其 中 _ i+1) 2 

， Ce 
令 = 了 +1, 转 (2)， 


(5) 令 x+ = yt, yt) = rtl) d= Vy TD),y 二 上 ,下 二 多 十 1, 转 (2). 
这 里 还 应 指出 , 在 共 示 梯 度 法 中 , 可 以 采用 不 同 的 公式 计算 因子 mw ,除了 (3.8.24) 外 ， 
还 有 以 下 几 种 常见 的 形式 : 
(1) A 
Bi 


T 
_ gli(g1 ~ 8) 
(2) sa (3.8.26) 


(iT2 全 二 
(3) rr (3.8.27) 
(3,8.25) 是 由 Polak, Ribiere 和 Polyar 提出 的 , 使 用 这 个 公式 的 共 辑 梯度 法 , 称 为 PRP 
共 辆 梯度 法 .(3.8.26) 由 Sorenson 和 到 olfe 提出 , (3.8.27) 由 Daniei 提出 , 当 极 小 化 正定 二 
次 函数 初始 搜索 方向 取 负 梯度 时 ,从 (3.8,24)] 一 (3.8.27) 是 等 价 的 ,这 由 FR 法 的 推导 过 程 
显 而 易 将 . 但 是 ,用 于 一 般 函 数 时 ,得 到 的 搜索 方向 基 不 同 的 . 
此 外 , Crowder 和 Wolfe 证 明 , 一 般 来 说 , 共 斩 梯 度 法 的 收 敏 速率 不 是 子 最 速 下 降 法 . 他 


(3.8.25) 
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们 还 证 明了 ,不 用 标准 初始 方向 d= -W(x 路 ) 时 ,其 弛 梯 诬 法 的 收敛 速率 可 能 像 线 性 速 
率 那样 慢 .但 是 , 共 辆 梯度 法 的 一 个 主要 优点 是 存 凡 量 比 较 小 .事实 上 ,FR 法 只 需 存 凡 3 个 
7 维 向 基 . 因 此 ,求解 变量 多 的 大 规模 问题 时 , 可 用 共 孝 梯度 法 . 


3.9 报 牛 顿 法 


前 面 介绍 了 牛顿 法 , 它 的 突出 优点 是 收敛 很 快 .但 是 ,运用 咎 顿 法 需要 计算 二 阶 偏 导 数 ， 
而 目标 函数 的 Hessian 矩阵 可 能 非 正定 .为 了 克服 牛顿 法 的 缺点 , 人们 提出 了 拟 牛 顿 法 
(quasi-Newton methods). 它 的 基本 思想 是 用 不 含 二 阶 导 数 的 矩阵 近 亿 代替 牛顿 法 中 的 Hes- 
sian 此 中 的 道 矩 阵 , 由 于 构造 近似 官 阵 的 方法 不 同 , 因而 出 现 不 同 的 拟 牛 瑟 法 ,经 理论 证 明 
和 实践 检验 , 氢 牛 顿 法 已 成 为 一 类 公认 的 比较 有 效 的 算法 ， 

店面 分 析 怎 样 构造 近似 矩阵 并 用 它 取 代 和 牛顿 法 中 的 Hessian 矩阵 的 逆 . 

前 面 已 给 出 牛顿 法 的 送 疏 公式 , 即 


Yt = 4 dt). {3.9.1) 
其 中 , 4*! 是 在 点 x 中 外 的 牛顿 方向 ,有 
d= [Vf x)] 1 xt). (3.9.2) 


4 是 从 x 出 发 沿 牛 顿 方向 搜索 的 最 优 步 长 ， 
构造 [V2(x (4)] 的 近 亿 矩阵 五,, 得 
. d'*) = -有 zt )， 
称 之 为 点 x 避 处 的 拟 牛 顿 方向 (quasi-Newton direction). 
先 分 析 [Y2zF(xt)] :与 一 附 导 教 的 关系 . 


设 在 第 上 次 选 代 后 ,得 到 点 x* ,将 目标 函数 f(x) 在 点 x“** 展 成 Taylor 级 数 , 并 
取 二 阶 近似 ,得 


fr fx) +t yr) (rx) + 
六 (x — XrD)TV2F( rr (x 一 x DD) 
由 此 可 知 ,在 x**H 附近 有 
V(r V(r +t) + Vif(xr tl) (x 下 


令 x=xt, 则 
Wx rt VCE) rt). 

简 记 为 

pi =x rte), {3.9.3) 

qt = Yr) (x ). (3.9.4) 
则 有 

qa VF rt ptt}. (3.9.5) 

又 设 Hessian 短 阵 VY 2x 人 1 可逆, 则 

ps VF CD)] 1g. (3.9.6) 


这 样 ,计算 pV 和 人 后 ,可 以 根据 (3.9.6) 估 计 在 x 全 * ?处 的 Hessian 矩阵 的 道 .因此 ,为 了 
由 不 包 售 二 阶 导数 的 矩阵 于 ;取代 牛顿 法 中 的 Hessian 矩阵 VzF(xt* 5) 的 道 答 阵 ,有 理由 
令 Hi+1 满 足 


部 = Hirig't. (3.9.7) 
有 时 称 (3.9.7) 为 拟 和 牛顿 条 件 (quasi-Newton condition). 
显然 , 若 想 俩 氢 牛 顿 方向 - 有 W(x) 较 好 地 近似 于 牛顿 方向 , 下 列 基 本 条 件 应 当 得 
到 满足 : 
(1) 3 = ~ 下 本 (xzt0) 是 目标 函数 六 xz) 在 点 zt 的 下 降 方向 ; 
(2) H+ 满足 下 的 = H+ 1 .7s 
(3) HH 与 本 ,1 之 问 应 具有 某 种 简单 的 选 代 关 系 ， 
为 满足 条 件 (3), 常 用 的 办 法 是 使 
Hi+ri= H+ Ei. (3.9.8) 
其 中 , E; 是 一 个 容易 计算 的 矩阵 , 称 之 为 校正 矩阵 ,代入 (3.9.7), 即 得 
p= (H+ E) at, 
如 果 能 有 
Tx- HH YY) 0, 
即 可 (人 TH Yr) >0, 
则 拟 牛 顿 方向 必 是 下 降 方 向 .可 见 , 若 HH 正定 , 即 可 满足 要 求 ， 
拟 牛 旺 法 的 基本 格式 如 下 . 
设 f(x) 是 n 元 可 微 函数 ， 
(1) 选取 初始 点 x' ,初始 正定 和 矩阵 地 (通常, 令 下 为 单位 矩阵 下 , 令 天 = 
{2) dt = 上 He Wx). 
{3) 求解 一 维 搜索 问题 
， min F(x 十 td'*1Y. 
设 上 为 最 优 步 长 , 令 
4 iD ， 
(4) 如 果 x "0 满足 大 代 终 止 准 则 ,输出 x0, 计算 终止 ;否则 , 转 (5). 
(5) 构造 E; ,使 满足 拟 牛 顿 条 件 , 令 
H+ = H+ EL, 
(6) 车 守 (x)TH V(x)>0, 令 上 = 上 上 +1, 转 (2); 香 则 , 令 d= 一 六 (x 全 +)， 
= 上 十 1, 转 (3). 
当然 , 梅 造 校正 矩阵 的 方法 很 多 ,每 一 种 特殊 的 构造 方法 对 应 一 种 特殊 的 氢 和 牛顿 法 . 因 
而 , 拟 牛 顿 法 不 是 指 一 种 具体 的 算法 , 而 是 一 族 算法 ,本 书 将 介绍 其 中 几 种 有 代表 性 的 算法 . 


3.9.1 对 称 秩 上 算法 


对 称 秩 1 算 靶 中 ,校正 抱 阵 E, 的 构造 方法 如 下 . 
令 Er = ey utiT, (3.9.9) 
其 中 , ek 是 待定 的 数 ,ze 的 是 待定 的 向 量 ， 
将 (3.9. 细 代入 拟 牛 顿 条 件 
(Hit om ia tT) ot = pt), (3.9.10) 
即 a TE = ph) — Hgtt). 
注意 到 zt9o14 避 是 数 ,如 果 取 


中 
对 


re 
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wt ph 一 Hgt), 


a Tag) =1, 


则 (3,9.9) 可 得 到 满足 , 县 可 确定 w 的 秆 为 


1 1 
Se TD oT ptt) ~ Hg te)) 
于 是 较 正 矩阵 可 取 为 
( CR H qt pe) | (OT 
本 = 二 qT pe) — De : (3.9.11) 
将 (3.9.11) 所 确定 的 校正 矩阵 EE 代入 执 牛 额 法 的 基本 格式 的 第 (5) 步 , 则 所 得 的 算法 即 为 
对 称 著 1 算法 ,此 时 
( (i) 有 《6 ‘3H (YT 
Ha = Hy + 
对 称 牧 1 算法 的 性 质 如 下 : 


(1) 由 (3.9.9), 可知 校 证 给 阵 中 是 对 称 的 , 生 秩 为 1, 册 于 下 ;| 对 称 正 定 ,从 而 必 有 
HH .1 对 称 ， 


(2) 设 目 标 函 数 f(x) = DxTAx + Bix+c, 太 正定 ,可 以 证 明 , 搜 索 方 向 4,45 史 ，… 
d'" 关于 4 共 辐 ,从 而 表明 对 称 秩 1 算法 具备 有 限 收 合 性 . 
(3) 在 (2) 的 条 件 下 ,还 可 以 证 了 明 
H,=A-1. 
(4) 可 以 证 明 , 对 称 秩 1 算法 具有 超 线性 收 襄 速度， 
然而 , 运用 著 1 年 阵 校正 ,也 存在 一 些 困难 .首先 , 仅 当 
qT pt 了 qt 
时 , Bt 才能 确保 正定 性 , 而 这 一 点 是 没有 保证 的 ,即使 
qT pt 一 Hg ) >0, 


由 于 会 入 误差 的 影响 , 可 能 导致 及 无 界 , 从 而 产生 数值 计算 土 的 困难 .加 此 这 种 方法 有 某 
种 局 限 性 ， 


3.9.2 DFP 算法 


DFP 算法 全 称 Davidon-Fletcher-Powell 算法 , 是 由 Davidon 首先 提出 ,后 来 又 由 Fletcher 
和 Powell 改进 的 算法 , 又 称 为 变 尺度 法 ,是 求解 无 约束 极 小 化 问题 的 最 有 效 的 算法 之 一 ,也 
是 一 种 拟 和 牛顿 法 ， 
DFP 算法 中 ,校正 矩阵 配 的 构造 公式 为 
th kIT 打 《 攻 ) TH 
B= A 5 ， (3.9.12) 
推导 过 程 如 下 : 令 
E, EE om T+ Br pT (3. 9, 13) 
其 中 oa, 钱 是 待定 数 ;atb,vt 的 是 待定 向 莉 ， 
将 (3.9.13) 代 入 氢 牛 由 条 件 ,得 


《ak 人 的 证 (0 了 十 Bvt ptt) yt) = pe 一 Hg t+), 


gn te tT ok) + Bvt) yt)T a tt) = pt) th} 


~ Hg 
分 别 令 
eu i Tok) = pt}, BvD yp Te (k) 一 Hig'*). 
注意 到 005T9 00， yOTe( 如 是 数 , 族 可 令 
n= pt), vy‘) = 有 
(RT ok) =1; 


tt Bp eT ot) = 一 1. 
于 是 有 
-1 .1 
Gk wT et) 下 CT 
-~ -1 _ -1 . 
房 = 579 人 DT GD 


将 ai ,wv 中 代入 (3.9,13), 基 得 (3,9.12). 


将 (3.9.12) 所 确定 的 校正 矩阵 E; 代入 拟 牛 顿 法 的 基本 格式 的 第 (5) 步 , 则 所 得 的 算法 


， ttT FH [| (TE 
邯 为 DFP 算法 ,此 时 本 之 为 DFP 公式 ， 


9 
定理 3.38 用 DFP 算法 求解 
min f(x) = Trt blixt+e. 
其 中 ,4 是 n” 阶 对 称 正定 矩阵 , 取 初 点 x 中 EE*, 令 HI 是 n 队 对 称 正定 所 阵 , 则 
(1) pOTApO)=0, 1 扫 ) 福 二， 《3.9.14) 
(2) Hiridp' = pi , Ti (3,9.15) 


其 中 ， = itl} x 二 A, DD, En - 
证 明 用 监 纳 法 ,对 上 归纳. 


当 上 =1 时 ,有 
Dp 五 ,900900T 厅 ， 
Hap 一 有 + Orem grporn | Ap (3.9.16) 
由 于 
Ap'D=A(x "Dri)) 
=8+1- gi = a), (3.9.17) 


可 知 Apt = 90) ,代入 (3.9.16), 得 
Hs Ap 二 pn, 
即 (3.9.15) 成 立 . 
当 &=2 时 , 利用 上 述 结果 易 证 (3.9.14) 成 立 ,具体 推 证 为 
P TAB 人 二 PTAK- 于 下 282) 
一 一 48 HaAp'! 
= -tg84p' =0, 


由 此 结果 易 证 , 当 久 =2 时 , (3.9.15) 也 成 立 ， 
现在 , 设 放 = zm 时 , (3.9.14) 和 {3.9.15) 成 立 , 证 明 当 =m+1 时 这 些 关系 也 成 立 . 


ey ie 
5 上: 


怪 
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3 PE pe ES Re fe 
a 2 i dl be Fe [a 


| 


得 
如 
如 


方 
A 


先 证 = zm +1 时, (3.9.14) 成 立 .根据 归纳 法 假设 ,只 需 证 明 pt™* 与 站 DPC 
中 每 一 个 关于 4 共 轿 ,根据 关于 (3,9,15) 的 寻 纳 法 假设 , 当 1 所 ;和 时 ,有 
Hi Ap = pe . 


利用 此 条 件 , 则 
pr Ap™ l= pOTA(- +1 Hy rig +1) 
= — tnrigh+1Hn+1Ap' 
= 一 和 
= 一 上 {3.9,18) 
根据 定理 3.35 的 推论 ,有 


gh+rid =0, i<m+1. 
因此 ,由 (3,9.18) 可 知 
PPTAPCn+D = 人， 
再 证 当 卡 = mr +1 时 , (3.9.15) 成 立 ， 
当 1 安之 mp +1 时 ,有 


pi™*U pt™+iT H (m+1) m+ DTH,, 41 


站 + 1 说 | nl if 
H, rzAp' =| Hy ri 十 prUTWInYD 一 CT Ap'n. 
{3.9,19) 


当 i= 贡 + 1 时 ,由 (3.9.17) 知 , Ap 和 "=g™ ?DD 代入 (3,9.19), 则 
Hr Ap "TD = pn?D. 
当 ji< +t 时 ,根据 (3.9.15) 的 归纳 法 假设 及 (3.9,14) 当 上 = mm +1 时 成 立 的 事实 ,并 
考虑 到 (3.9,17), 则 有 
gq "Ha Ap = gm Tp = Pt+DTAPGD 一 0. 
因此 ,在 (3.9.19) 中 ,将 Ap' 中 乘 括号 内 各 项 , 则 看 
Hr2Ap') = Han+riAp'i 一 了 人 ， 
推论 ”在 定理 3.38 的 条 件 下 , 必 有 再 ,1 = 4 1!. 
证 明 令 
D= (ph, pe ,+, pe), 
则 由 (3.9,15), 有 有 
H,+1.AD=D. (3.9.20) 
由 于 站 ,pp 人 …, pt 是 一 组 甘于 A 共 继 的 非 零 向 量 ,因此 它们 是 线 姓 无 关 的 ,从 而 D 是 
可 道 矩阵 , 由 (3.9.20), 得 
和 +14 三 了 
故 有 ,1 二 为 
由 于 p= td 中 ,因此 pi, pe, 关于 各 共 二 等 价 于 dd 的 8 的 关于 成 
共 孝 ,可见 , DFP 算法 中 构造 出 来 的 搜索 方向 是 一 组 A 共 园 方向 , DFP 方法 具有 二 次 终 赴 
性 . 


3.9.3 BFGS 公式 及 Broyden 族 


前 面 利 用 拟 牛 顿 条 件 (3.9.7) 导 出 了 DEP 公式 ,下面 , 用 不 含 二 阶 导 数 的 矩阵 B ,1 近 


似 Hessian 矩阵 (x+D), 从 而 由 (3.9.5) 给 出 男 一 种 形式 的 拟 牛 司 条 件 , 即 
gt = 四 (3.9.21) 
在 (3.9.7) 中 ,用 中， 取代 Hi41, 间 时 交 挽 pt 和 gq 办 好 得 出 (3.9,21), 因此 , 只 需 在 
再 , 的 递 容 公 式 中 互 换 p 吕 和 gq 中 ,并 用 B 4 和 B; 分 别 取 代 于 +1 和 环 , 就 得 到 二 的 递 扒 
公式 ,证 不 必 从 (3.9.21) 出 发 另行 推导 ,这 样 ,关于 吾 ; 的 政 正 公式 为 
(OT RptptiTp 
Bervi™ Bi + ry Tp .. 
《3.9.22) 称 为 关于 矩阵 B 的 BFGS 眉 正 公式 ,有 时 也 称 为 DFP 公式 的 对 惕 公式 . 
设 妨 ,41 可 道 , 则 由 (3,9.21}) 可 知 
pr = Belg'.), 
此 式 表 明 , Bi 1 满足 执 牛 杷 条 件 (3.9.7), 因 此 可 令 
Hri= Biti. {3.9.23) 
这 样 ,可 以 由 (3.9.22) 出 发 , 求 Berl 从 而 得 到 关于 区 的 BFGS 公式 
(CATH,o EY Ot) EIT (RITH, + Ho pT 
er fo -一 DA 二 一 . (3.9.24) 
这 个 重要 的 公式 是 由 Broyden, Fletcher, Goldfarb 和 Shanno 于 1970 年 提出 的 , 它 可 以 估 
DFP 公式 一 样 使 用 ,而 且 数 信 计 算 经 验 宕 明 , 它 比 DFP 公式 的 效果 还 好 , 因此 目前 得 天 广泛 
覃 用 .， 
DFP 和 BFGS 公式 都 由 p 避 和 Hig"* 枸 成 的 对 称 秩 2 校正 ,因此 这 两 个 公式 的 邯 权 组 
合 仍 具 有 局 样 的 形式 ,这 就 自然 导致 考虑 所 有 这 类 修正 公式 组 成 的 集合 ,于 是 定义 


HT= (1- pg) HY + pHEES 《3.9.25) 
其 中 , p 是 一 个 参数 ,可 取 任 意 实数 .显然 , 当 p=0 和 pp=1 时 ,(3.9.25) 分 别 是 DFP 修正 
和 BFGS 修正 .53.9.25}) 所 给 出 的 修正 公式 的 全 体 称 为 Broyden 族 .可 以 证 明 , 对 称 秩 1 校 


还 也 是 这 个 族 的 成 员 . 若 将 DFP 公式 和 BFGS 公式 代入 {3.9.25), 则 得 到 Broyden 族 的 显 式 
囊 达 : 


《3.9.22) 


此 如 和 = 和 十 | 二 十 


A IT {)T : 
pp Hig oq’ KH th) pT 


四 
H' ， = H,+ 一 一 
tt OTD gDTHg 外 
= HE + gy yOT, (3.9.26) 
其 中 ， 
[和 下 (CE) 
(oT ot Pp 
v={ H )2 . (3.9.27) 
g 丰 pT ok) qT Hug’) 


在 所 牛顿 法 的 每 次 近代 中 ,可 用 Broyden 族 的 一 个 成 员 作 为 一 个 修正 公式 ， 
由 于 DFP 和 BFGS 修正 都 江 足 拟 牛 顿 条 件 (3.9.7), 因此 Brovden 族 的 所 有 成 员 均 满足 


这 个 条 件 . 进 而 ,DEFP 方法 所 具有 的 许多 性 质 , Broyden 方法 也 具有 .下 列 定理 就 是 定理 3.38 
的 直接 推广 . 


定理 3.39 设 7(z) = 二 xzThz +trx+r; 其 中 4 是 ma 阶 对 称 正定 矩阵 , 则 对 于 Broy- 
den 方法 ， 成 立 
(1) TD 人 =0， TI< TS ， 


Ty Ee ry pm mg To 
副 暗 加 四 为 召 国 


回国 生生 四 和 如 济 四 加 国 国贸 加 


rT 


~、 ， 一 目 一 .下 一 -3 国 . 
EE 四 加 四 加 国友 加 图 区 


(2) Hi Ap = pr, 1 
证 明 方 法 与 定理 3.38 的 证 明 类 似 , 这 里 从 略 . 

值得 往 意 , Broyden 族 并 非 对 w 的 所 有 取 值 都 能 保持 正定 性 .事实 上 , 当 p<0 时, H? 
有 可 能 奇异 .因此 , 为 保持 正定 性 , p 应 取 非 负数 值 . 击 于 正定 矩阵 与 半 正 定 矩 阵 之 和 仍 为 正 
定 矩阵 , 因此 当 gp 守 0 时 ,保持 正定 性 是 显然 的 ， 

拟 牛 额 靶 是 无 约束 最 优化 方法 中 最 有 效 的 一 类 算法 , 它 有 许 密 优点 , 比如 , 选 代 中 仅 需 
一 阶 导数 ,不必 计算 Hessian 矩阵 , 当 使 H, 正定 时 ,算法 产生 的 方向 均 为 下 降 方 向 ,并 且 这 
区 算法 具有 二 次 终止 性 , 对 于 一 般 的 情形 ,具有 超 线 性 收 钱 速率 , 而且 还 上 共有 x 步 二 级 收 笋 
速率 .可 见 , 拟 牛 顿 算法 集中 了 许多 算法 的 长 处 . 拟 牛 顿 法 的 缺点 基 所 需 存 贮 晤 较 大 ,对 于 大 
型 问题 , 可 能 通 到 存 贮 方面 的 困难 . 


3.10 无 约束 最 优化 的 直接 方法 


前 面 所 介绍 的 各 种 名 维 无 约束 极 小 化 算法 都 有 一 个 共同 的 特点 , 即 要 求 目标 函数 f(x) 
必须 是 可 微 的 .但 是 ,如 困 目 标 函 数 是 不 可 微 的 其 至 是 不 连续 的 或 没有 解析 表达 式 ,将 无 法 
按照 前 面 所 介绍 的 方法 求解 ,这 时 ,一 般 采 用 直接 方法 . 

直接 方法 与 使 用 导数 的 方法 相 比 ,一 般 来 说 ,收敛 得 比较 慢 , 但 是 , 它 对 自 标 落 数 不 要 求 
导数 存在 , 选 代 比较 简单 , 编制 程序 一 般 也 比较 容易 , 根据 数值 计算 的 经 验 , 对 于 变量 不 多 的 
问题, 能够 收 到 较 好 的 效果 ,因此 ,这 类 算法 是 最 优化 方法 中 一 个 重要 组 成 郁 分 ,也 是 有 待 进 
一 步 研究 的 重要 方面 ， 

下 型 分 别 介绍 各 种 无 约 东 优化 的 直接 算法 ， 


3.10.1 Hooke-Jeeves 方法 


Hooke-Jeeves 方法 是 由 Hooke 和 Jeeves 于 1961 年 提出 的 , 基 一 种 不 使 用 导数 的 直接 要 
索 算 法 .算法 从 初始 基点 开始 ,包括 两 种 类 型 的 移动 , 即 探测 移动 和 模式 移动 .探测 移动 依次 
沿 = 个 坐标 轴 进 行 ,用 以 确 定 新 的 基点 和 有 利于 函 教 值 下 降 的 方向 ,模式 移动 沿 相 邻 两 个 
基点 连 线 方 向 进行 ,试图 贱 函 数 信 葛 快 地 减 小 .两 种 移动 交替 进行 . 
设 目 标 函 数 为 f(x),xEEE". 举 标 方 向 为 
00,0 0 0) j=1,*,n, 


1 

给 定 初始 步 长 $, 加速 因 子 a , 任 取 初 始点 x ,作为 第 1 个 基点 .下面 以 x 作 表示 第 /个 基 
点 .在 每 轮 探测 移动 中 , 自 变 量 用 y 中 表示 , 即 y 中 是 沿 ej 探测 的 出 发 点 , 这样 , ?人 是 沿 el 
探测 的 出 发 点 , %"+0D 是 沿 e 探测 得 到 的 点 ， 

首先 ,从 y 中 =x 中 出 发 ,进行 探测 移动 . 先 沿 el 探测 .如 果 7j0720+ se)< Fr) 则 
探测 成 功 , 令 

y= y+ te, (3.10.1) 

并 从 7 出 发 , 沿 e, 探测 . 

否则 , 沿 ej 方向 的 探测 失败 ,再 沿 - ej 方向 探测 .如 果 f Cy 个 一 801) 之 了 f(y), 则 洛 
81 方向 的 探测 成 功 , 令 


(全 = 一 Bei， (3.10.2) | 


并 从 ?出 发 , 沿 ez 探测 . 
如 果 f(y 中 -Be0) 守 fy 路 ), 则 浴 - e 方向 的 探 潜 也 失败 . 令 
?全 = 基站， (3.10.3) 
再 从 y 人 出发, 沿 ez 方向 探测 ,方法 同上 , 得 到 的 点 记 作 2) . 按 此 方式 做 下 去 ,直至 沿 = 个 
坐标 方向 探测 完毕 ,得 到 点 "1 
如 果 了 (Cy 下) 之 F(x 中 ), 则 y'** 吕 作为 新 的 基点 . 记 作 
x = yt (3.10.4) 
这 时 ,4a = x 人 2 xt 是 有 利于 活 数 值 闫 小 的 方向 ， 
下 一 步 , 灌 方向 x 史 一 x 人 进行 模式 移动 , 令 新 的 yt 为 
y=x toa(r — x), (3.10.5) 
模式 移动 之 后 ,以 yt 为 起 点 进行 探测 移动 , 这 轮 探测 仍然 沿 坐 标 轴 方 向 进行 .探测 完毕 , 得 
到 的 点 仍 记 作 ?7 ， 
如 果 f(y 中) 之 了 (x 中 ), 则 表明 此 次 模式 移动 成功 ,于 是 取 新 的 基点 x = 7 ， 
表 沿 方向 xe) -x3 进行 各 式 移动 . 
如 果 fly"*1D) 记 f(x 中 ), 则 表明 此 次 模式 称 动 及 此 次 模式 移动 之 后 的 探测 移动 均 无 
效 .于 是 退回 到 基点 x 中 , 碱 小 步 长 8, 再 从 x 中 遇 发 ,依次 沿 各 坐标 轴 方 向 进行 探测 移动 . 
如 此 继续 下 去 , 直到 满足 精度 要 求 , 即 步 长 8 小 于 事先 给 定 的 某 个 小 的 正 数 e 为 止 ， 
模式 搜索 法 计算 步骤 如 下 : 
(1) 给 定 初始 点 x 个 EE", 个 坐标 方向 ej, 82,…, en, 初始 步 长 8, 加速 因 子 “ 产 1, 缩 
减 率 BE (0,1), 允许 误差 >0, 令 y=x 人 ,k=1,j=1. 
(2) 车 f(y 路 + pe)< FOOD 令 人 = y+ 66j, 转 (4); 否 则 , 转 (3). 
(3) 车 fy 中 -Be))< 了 (YD), 令 y97D=y0 -6ej, 转 (4); 若 f(y0 60) 安 f(y 中 )， 
令 y+D = yy 转 (4). 
(4) 如 果 jj 之 n, 令 j=j+1, 转 (2); 否 则 , 转 (5). 
(5) 车 FL D)<ACxe), 转 (6), 否则, 转 (7). 
(6) 令 = 再 令 VD 一 六 二 et 一 工人 0), 天 = 类 十 1 一 1, 转 (2). 
(7) 若 ?<e 则 计算 结束 , 取 蔗 = x(0; 否 则 令 8= 5， yD 二 x 0， x = x(5, 令 = 
+1, 再 令 j =1, 返 回 (2)， 
例 3.15 用 Hooke-Jeeves 法 求解 下 列 问 题 ， 


min f(r})=x1 2xr1r2+27r2 -4x1. 


解 取 xD=(1,1) ,er=(1,0)T, es=(0,1)',8=1,a=1,8= 
第 一 次 进 代 ， 
(1 邻 yD=xD=(1,1)T,k=j=1. 
(2) 因为 f(y')= -3, 有 
f(y V+ 6e)=7(2,1)= -6, 
fy + de < FY), 
所 雇 ， yC2) 一 yn + Bel = (2,1Y7., 


De 


中 
一 


(3) 由 于 =1<a=2, 因 此 转 (2), 进行 计算 ， 
f(y + Be2)=f(2,2)= -4> -6= Ph)， 
fly— Bes) = f(2,0)= -4> 一 6. 
所 以 ye = y'2 = {2,1)T. 
这 时 ,j=2=n, 且 yy3)= -6<f(x 0 )=f(1,1)= -3. 
(4) 令 


x = y= (2,1)", | 
yD = x + a{ x _ xt1) 一 (3， 1)7, 
Fly) = fF(3,1)= 一 7， 
第 一 次 选 代 完 成 ,这 时 ,点 =2, 再 令 ) =1, 回 到 (2) 再 进行 计算 . 
第 二 次 迭代 : 
fy + de) = 74,1)= -6> f(y = -7, 
filyD -860)=f2,1)= -6>7(7 )= -7, 


3 
yo=yw=| 3]. 


叉 因 为 j=1<2, 再 返回 (2). 
fy + be) = (3,2)= -7= f(y ), 
Fly ~ Be2) = f(3,0)= -3> -7= f(y 7), 


3 
(3) 一 »-| |. 
卫 ¥ 1 


FI)= 03,1)= -7<f(x)= 一 6， 


x -y= || ， 
从 xG) 出 发 , 灌 方 向 *G) -x 包 进行 模式 移动 . 令 
yD x ta x =x x= 站 
1 
这 时 上 = 3, 再 令 1 = 1, 回 到 (2) 再 进行 计算 ， 
第 三 次 迭代 : 
fy D+o0)=f(5,1)= -3>FD)= 一 6， 
fy de)=7(3,1)= 一 7< CD))， 
[a yo=| , 
1 
又 因为 j=1<2, 了 再 返回 (2), 有 
flyD + de) = f(3,2)= -7= f(y®), 
fy ~ Be) = (3,0)= -3> -7= f(y). 


3 
故 ;9 = =| |. 


"1d + 1 


这 时 ,j=2=n, 且 
f(y)= 03,1)= f(x), 
转 到 (7). 
合计 = 12,9 =x 的 ,X= 的 ,这 时 包 =4, 再 令 j=1, 同 到 (2) 进 行 计算 . 
第 四 次 迭代 .: 
f(y D+ 6e)= 7(3.5,1)= -6.75> FLD)= -7, 
Fly Se) = /02.5,1})= -6.75> f(y ), 


| 
(2) 一 
了 HE 


又 因为 了 =1<2, 返 同 (2) ,由 于 
fly 8e)= 7(3,1.5)= -7.5< Fy 2), 
3 
133 一 
故 》 Ls 
这 时 ,j=2=n, 且 f(y 让)= 一 7.5 之 x9), 所 以 令 


x -| ,| ， yl = 3) 十 亲本 一 荆 ( ={3,2)7., 


这 时 ,上 =5, f(y 路 ) = -7, 再 令 j=1, 回 到 (2) 进 行 计算 ,直到 求 得 近似 最 优 解 x = (4,2)" 的 
解 为 止 ， 

在 上 面 的 介绍 中 ,探测 移动 沿 种 坐标 方向 所 取 步 长 相同 .实际 上 ,不 同 举 标 方向 可 以 绍 
定 不 同 的 步 长 .实现 这 一 点 没什么 困难 , 只 刘 把 不 及 步 长 的 表达 式 稍 加 艇 改 即 可 .也 有 人 对 
Hooke- Jeeves 方法 作 了 修正 ,这 里 不 再 介绍 . 

模式 移动 的 方向 可 以 看 作 有 最速 干 降 方向 的 近似 ,因此 模式 搜索 也 可 以 看 作 最 速 下 降 法 
的 一 种 近似 .由 此 可 知 ,这 种 方法 的 收 敏 速度 芭比 较 民 的 .但 是 ,编制 程序 比较 简单 , 对 变量 
不 多 的 问题 可 以 使 用 ,而且 确 是 一 种 可 价 的 方法 ， 


3.10.2 单 负 形 法 


无 约 东 极 小 化 的 单纯 形 法 与 线性 规划 的 单纯 形 法 不 同 , 它 是 在 1962 年 由 Spendley， 
Hext 和 Himsworth 首先 提出 的 ,1965 年 由 Nelder 和 Mead 改进 , 单纯 形 法 也 是 一 种 不 使 用 
导数 的 求解 无 约束 极 小 化 问题 的 直接 搜索 方法 , 与 前 面 几 种 方法 不 同 的 是 , 单纯 形 蔡 换 法 不 
是 利用 搜索 方向 从 一 个 点 类 代 到 另 一 个 更 优 的 点 , 而 是 人 共 一 个 单纯 形 选 代 到 另 一 个 更 优 的 
单纯 形 . 下 面 先 介绍 一 些 基 本 概念 . 


定义 3.20 单纯 形 (simplex) + 维 空间 中 恰好 有 wn +1 个 顶点 (极点 ) 的 有 界 的 凸 多 面 
体 称 为 一 个 单纯 形 ， 

由 定义 3.20 可 知 , 一 维 空间 中 的 单纯 形 是 线段 ,二 维 空间 中 的 单纯 形 是 三 角形 ,三 维 空 
间 中 的 单纯 形 则 是 四 面体 . 若 单纯 形 的 a+1 个 顶点 中 任意 两 点 间 的 距离 相等 , 则 称 此 单纯 
形 为 正规 单纯 形 ， 

单纯 形 法 的 基本 思想 是 给 定 E” 中 的 一 个 单纯 形 后 , 求 出 = +1 个 顶点 上 的 函数 值 , 确 
定 出 有 最 大 兽 数 值 的 点 ( 称 为 最 高 点 ) 和 最 小 函数 值 的 点 { 称 为 最 低 点 ). 然后 通过 反射 , 扩 
展 、 压 编 等 方法 求 出 一 个 较 好 点 ,用 它 取代 最 高 点 , 构成 新 的 单纯 形 , 或 者 通过 向 最 低 点 收缩 
形成 新 的 单纯 形 , 用 这 样 的 方法 通 近 最 小 点 . 
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下 面 ,以 极 小 化 二 元 涵 数 ALzi, zz) 为 例 ,说 明 如 何 实现 单纯 形 的 转换 ， 
首先 , 在 平面 上 取 不 共 线 的 三 点 x 中 ,x 和 x3, 攀 成 初始 单纯 形 ( 见 图 3.9). 
设 最 高 点 为 x 中, 最 构 点 为 x 中, 即 
fix DF) Fr ). (3.10.6) 
现在 进行 反射 步骤 .运用 单纯 形 法 时 , 总 是 将 x， 
最 高 点 经 过 其 余 点 的 形 心 进行 反射 . 对 于 本 问题 ， 
就 是 将 x 外 经 过 线段 x(x 人 的 中 点 


= 六 (x+xG)) 《3,.10.7) 
进行 反射 .得 到 反射 点 
区 人] 一 天 十 人 (天 一 区))》。 (3.10.8) 


正 数 e 称 为 反射 系数 ,一 般 取 a=1. 
反射 后 有 三 种 可 能 的 情形 ， 
(1) 如 果 F(x 人 中) 之 F(x 路 ), 则 表明 方向 
d= x x 
对 于 浅 数 值 的 碱 小 是 有 利 的 ,于 是 沿 此 方向 进行 扩展 . 令 
x rx). (3.,10.9) 
其 中 , y>1 称 为 扩展 系数 . 若 
fr Fr ), 
则 用 x 取代 x93, 得 到 以 xt0,x 人 和 xG) 为 顶点 的 新 的 单纯 形 . 
车 FLxG))3 扎 xx) 则 扩展 失败 .这 时 ,用 xx 多 替换 x'?, 得 到 以 x 中 ,x 信和 x3) 为 顶 
点 的 新 的 单纯 形 . 
(2) 如 果 FS For) Fr), 即 六 zt 不 小 于 最 低 点 处 的 函数 值 , 不 大 于 次 
高 点 处 的 函数 信 , 则 用 x 人 1 震 换 x 中 ,得 到 以 x1, x 人 和 x 人 为 顶点 的 新 的 单纯 形 . 
(3) 如 果 六 xz) 了 (x), 即 f(x 只) 大 于 次 高 点 处 的 函数 值 , 则 进行 压缩 步骤 .为 
此 ,在 x 和 x 中 中 选择 函数 值 最 小 的 点 . 邻 
Fx = mint f(r), PC) 
其 中 ,x Ex 人, x 中 1 , 令 
(一 六 十 月 (xz -x). 《3.10.10) 
其 中 , 8E (0,1) 为 压缩 系数 .这 样 ,x 四 位 于 x 与 x 之 何 ， 
车 所 x 中 ) 才 F(x ), 则 用 个 取代 并 四 ,得 到 以 x 中 ,x 人 和 x 个 为 顶点 的 新 的 单纯 形 . 
车 f(x 中 )> 六 xz 则 进行 收编 .最 低 点 x 人 1 不 动 , 其余 两 点 x 中 和 x 中 均 向 x40 移 近 
一 半 蹦 离 . 令 


x + 0), {3,10.11) 


x = 一 xG))， (3,10.,12) 


得 到 以 x 人 ,x 中 和 x 人 9 为 顶点 的 新 单纯 形 . 

以 上 拖 种 情形 ,不 论 融 于 哪 一 种 ,所 得 到 的 新 的 单线 形 , 必 有 一 个 顶点 的 匿 数 值 小 于 或 
等 于 原单 纯 形 各 顶点 上 的 函数 值 .每 得 到 一 个 新 的 单纯 形 后 , 再 重 复 以 上 步 邓 , 直至 满足 收 
人 敏 准 则 为 止 . 


单纯 形 计算 步骤 如 下 . 
(1) 给 定 初始 单纯 形 , 其 顶点 为 
人 人 Ere， i=1,2,."…,n+1, 
反射 系数 a >0, 扩展 系 数 y>1, 压 缩 系 数 PE (0, 1D) ,允许 误 关 >0. 计 算 函 数值 
fOr), i=1,2,.…, nt+1, 
令 上 =1. 
(2) 确定 最 高 点 x ,次 高 点 x' 引 ,最 低 点 x 中 ,hg, [E11,2,…, n+1} ,使 得 
fr) =max{tf (xe), FOr), ,Fx 0)}, 
fxr) = max{f (xO) | rr, 
Fx =minl F(x), Fx), fF). 
计算 除 x 外 的 个 点 的 形 心 x, 令 


计算 出 f(x). 
(3) 进行 反射 , 令 
r+2) 一 区 十 a{x x ， 
计算 fx). 
(4) 若 x" )< 了 (x'), 则 进行 扩展 , 令 
Kr), 
计算 F(x), 转 (5); 若 
fr r (rs ). 
则 令 x 的 二 x 了 x)= fx), 转 (7); 
若 f(r 中 )>> fx), 则 进行 压缩 , 令 
ft 区 人 =min| Foxto)，FCztn+ 2) 
其 中 ,hE1h,n+21, 令 
x Pr) x), 
计算 f(x 4), 转 (6)， 
(5) 落 FExztara) Fwtnta), 刚 念 
xr) = yr" F(x) = fx" +), 
转 (7); 理 则 , 令 
x =x Fx = fr"), 
转 (7). 
(6) 若 f(x 和 9) 寺 f(x)), 则 令 
x = fx) = fx), 
转 (7); 否 则 ,进行 收缩 , 令 


二 = x+ 二 (zt 0， 1,2,., n+l. 


计算 f(x 中), j=1,2,"…,n+1, 转 (7). 
(7) 检验 是 否 满 足 收 合 淮 则 ,着 


n+l 1 
(AHP) < 
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刘 停 止 计算 , 现行 最 好 点 可 作为 极 小 点 的 近似 ;否则 , 令 上 = 开 +1, 返 回 (2)， 


例 3.16 用 单纯 形 法 求解 下 列 问 题 
minf(x)}= (x1 -3)+2(r,+2), 


取 初 始 单纯 形 的 顶点 为 
xo=|| x = x =| 
人 0D! 11 
a=1,7=2,8= ,=2. 
各 项 点 处 的 玖 数值 为 
Fx) =17, F(X) =12, F(x) =27, 
显然 有 ¥ = DD x = 
取 h=3,g=1,!=2. 
和 将 x 人 9 经 x 中 和 x 人 3 的 形 心 进行 反射 , 令 


在 处 函数 值 /(3)= 学 . 令 


x Or+talr- rd)=2x x 


_ ,iz -[ -| 1 
0 1 一 1 
有 (x 中 )=6, 由 于 f(x) 之 了 (x), 进行 扩展 , 令 


r= Tx 


3 


= 之 
一 


有 (zxG) = 号, 由 于 A(x 四)< 了 (x 的 ), 因 此 用 x 今 替 换 xG9), 得 到 新 的 单纯 形 . 把 x 号 仍 


记 作 x'3, 则 新 单纯 形 顶 点 为 


r= | 
0 


3 
oo 让 


一 了 
{3D -GD 
[7- 2 区 


- 计 
Bl 上 [人 


站 


(3.10.13) 


第 二 次 选 代 : 
单纯 形 的 项 点 由 (3.10,.13) 给 定 , 显 然 有 


这 人) 一 并 ， xz) = x x 一 区 03) ， 


则 fx)=17, F(x)=12, f(r) = 
进行 反射 , 求 x 中 关于 x 忠和 x 忠 的 形 心 的 反射 点 , 令 


1 111 1 3 3 
sel ysl. 2 了 -| 3 
< lo) +1 _2 1 


有 f(x)= 社 , 反 射 点 为 


5 0 和 
x =xX+alr— x )=2x—xt =2| 4 -| =| 21, 
-1 一 之 


有 f(x 从)= 十 .由 于 f(x 只)< f(x 中 ), 因 此 进行 扩展 , 令 
: 5] [3) f(s 
itr a -| |-| | 
一 之 
有 f(x 中 )= 措 ， 由 于 f(x 人 9)>> 了 F(x 中 ), 因 此 用 x 中 扯 换 x 中 . 令 x 全 =x 中 ,得 到 新 的 单纯 


形 , 其 项 点 为 
5 1 入 
xD0=| 2 | J 2 (3.10.14) 


fx) = 二, F(x 的) 和 f(x 中 同上. 


Ep 全 [全 -时 人- 如 区 下 


=5,.14>e 
第 三 次 迁 代 ; 
单纯 形 顶 点 由 {3., 10.14) 给 定 .已 知 | 
f(r) = F(x)=12, (x) = 
且 x ,x)= xD = x 


求 x 中 关于 x 人 和 x 人 的 形 心 挨 射 点 , 令 


有 f(x) =1, 反 射 点 
#0 7+ -x0) =27 -z= |- -| |. 
一 之 0 


3 
-4 
有 f(x 人 中)=8. 由 于 f(x)> 了 (x 中), 因 此 进行 压缩 ,由 于 


让 图 力图 国 回回 


Js 


一 - : .四 | 本 
= em .和 . + i 


fx =mint fxr), FCxt)}. 


因此 令 OO=x+ A -= 二 + 二 x 的 


-让 车 读本 - 加 


有 f(x 四 ) = 县. 由 于 f(zt9)<J(Cr), 因 此 用 r0 着 换 x， 令 *C = =(), 得 到 新 的 单 


形 ,其 项 点 是 
En 
xD=| 21 xD=| 2),xD=| 21, 
一 了 一 和 一 了 
有 f(x) = 二, fx) = f(x) = 号， 
Te 


已 满足 精度 要 求 ,得 近似 解 x = | 互 ,- 2] .实际 上 ,问题 的 极 小 点 =(3, - 2)7， 

上 述 的 单纯 形 法 不 是 最 初 形式 ,而 是 经 过 改进 的 .最初 的 方法 称 为 正规 单纯 形 法 ,每 次 
活 代 所 用 单纯 形 均 为 正规 线形 ,一 般 认 为 改进 的 单 结 形 法 优 了 正 玉音 统 形 法 ,因此 ,不 各 
介绍 正规 单纯 形 法 ， 


3.11 乱 罚 函数 法 各 漳 奏 函数 法 


惩罚 函 孝 法 (penalty function method) 和 障碍 函数 法 (barrier function method) 都 是 通过 
将 约束 极 小 化 问题 转化 成 无 约束 极 小 化 问题 来 求解 ， 

惩罚 函数 法 又 称 外 点 法 , 障 码 函 数 法 又 称 内 点 法 ， 它们 的 基本 原理 都 是 在 原则 标 函 数 中 
加 上 一 个 惩罚 函数 ,把 约束 问题 转化 为 无 约束 问题 ， 进而 用 无 约束 最 优化 方法 来 求解 .全 罚 
函数 的 功能 是 对 非 可 行 点 或 企图 穿越 边界 而 逃离 可 行 域 的 点 赋予 一 个 极 大 的 函数 值 , 这样， 
在 对 新 的 日 标 函数 进行 无 约束 极 小 化 的 过 程 中 , 如 果 迭 代 点 在 可 行 域外 , 就 会 迫使 送 代 点 逐 
步 逐 近 可 行 域 ;如 果 人 渤 代 点 在 可 行 域内 ,迭代 点 不 会 离开 可 行 域 . 这 样 ,所 得 的 新 的 目标 函数 

的 无 约束 极 小 化 的 解 就 会 脖 近 于 原 目标 本 数 的 约束 模 小 化 的 角 


3.11.1 疗 罚 图 数 法 
设 原 问 题 为 
min f(x) 
Sst, gx)0D, | {3.11.1) 
h(x)=0,7=1,2,.,1 
负 可 构造 出 无 约束 模 小 化 问题 


min F(x, 站 = F(x) + palx). {3.11.2) 


其 中 , a(x)= 3 [max{0, g(x)) + [h(x) 了 ,gw 是 一 个 充分 大 的 正 数 , 称 为 想 出 因 
i=l j=1 


子 . 
通常 把 netxz) 称 为 罚 郊 数 , 记 为 Ptx,a)= pa (x); 而 把 新 忆 标 滞 数 玉 (xz,az) = 
FIz+Pfxan)y 称 为 增 广 目标 函数 ， 
当 x 是 原 阔 题 可 行 点 时 , a(x) = 8, 从 而 有 ftx)= F(x, pg), 当 x 不 是 原 问 题 可 行 点 
时 ,在 x 村, me lx) 是 很 大 的 正 数 , 它 的 存在 蚌 对 点 菩 离 可 行 域 的 一 种 秆 罚 , 其 作用 是 在 极 小 
化 过 程 中 迫使 适 代 点 掌 近 可 行 域 .因此 ,求解 新 问题 能 够 得 到 约束 问题 的 近似 解 ,而 且 x 越 
大 ,FIxyA) 的 无 约 划 极 小 点 就 越 接近 于 F(x) 的 约束 极 小 点 ， 
下 面 的 定理 3.40 揭示 了 约束 极 小 化 问题 (3.11.1) 与 泡 约 束 极 小 化 问题 (3. 11.2}) 的 航 
小 点 之 间 的 关系 . 
定理 3.40 设 对 给 定 的 参数 pg, F(x, yy) 的 无 约束 极 小 点 为 x, ,那么 , x, 成 为 Fx) 的 
约束 极 小 点 的 充 要 条 忻 为 x, 是 原 问 题 的 可 行 点 . 
证 明 必要 性 显然 成 立 , 下 面 话 明 充 分 性 . 设 原 问 题 的 可 行 域 为 D, x ED, 则 由 a(x) 
的 构造 可 知 
cx 一 0. 
由 于 已 知 x 是 F(x,z) 的 无 约束 极 小 点 , 故 存 在 x 的 一 个 邻 域 N(x,e), 使 
Ex a)EFlx, pA), xEN{x,,e), 
现任 取 xE DIN(Gx,,e), 则 有 
a{x}=0, xEDMNN(GE,,E). 


所 以 Fix )= F(x) + pat wx) = fx ), 
Flixyp)= ftx) +t palx)= f(x). 
因此 f(x)Ef(r), BS rEDI NY,, 6) 


表明 , x, 是 原 问题 的 约束 极 小 点 . 

实际 计算 中 , 惩罚 国 子 y 的 选择 十 分 重要 .如 果 py 过 大 , 则 给 抱 罚 函数 的 极 小 化 增加 了 
计算 上 的 困难 ;如 果 jp 本 小 , 则 惩罚 函数 的 极 小 点 远离 约束 问题 的 最 优 解 , 计算 效率 很 差 ， 
因此 ,一般 策 略 是 取 一 个 趋向 无 穷 大 的 严 插 递增 正 数 列 | |, 从 基 个 pi 开始 ,对 每 个 天 , 求 
解 

min f(x)+ poa(x), 

从 而 得 到 一 个 极 小 点 的 序列 , 在 适当 的 条 件 下 , 这 个 序列 将 收 人 请 于 约束 间 题 的 最 优 解 .如 此 
通过 求解 一 系列 无 约束 问题 来 获得 约束 问题 最 优 解 的 方法 称 为 序列 无 约束 极 小 化 方法 , 简 
称 SUMT 方法 . 

可 以 知道 , x, 是 原 问题 的 可 行 点 等 价 于 pa (xs)=0. 但 是 ,往往 只 有 当 jj 一 + co 时 , 才 有 
a(x)】=0, 为 使 计算 能 在 适当 的 时 蛋 终 止 ,可 根据 要 求 事先 确定 一 个 小 正 数 。, 当 满足 

0< pal(xn)EE 

时 , 即 可 终止 计算 ,这 时 , x, 与 原 问题 的 精确 极 小 点 的 误差 已 经 可 以 接受 . 

称 罚 函数 法 算法 过 程 是 : 

(1) 取 初 始点 x 中 为 非 可 行 点 , xi> 以 通常 取 j=1),s >0,c>>1( 通 常 取 c=10),k=1, 

(2) 以 x 人- 为 初始 点 ,求解 无 约束 极 小 化 问题 ， 

minF{(x, pir} = FOX) + pat x). 

设 无 约束 极 小 点 为 x(*)， 


.2 
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(3) 若 pga (zx) 才 6, 则 停止 计算 ,输出 x; 否则 , 令 prril= ent 天 = 天 二 1, 转 (2)， 
例 3.17 用 悉 罚 函数 法 {外 点 法 ) 求 解 
min f(x)=x1t+27r2+27r1, 
s.t, 二 十 一 1=0. 
要 求 以 xm = (1,1) 为 初始 点 ,ce= 10, 选 代 3 次. 
和 解 F(x, pe) = z+27d+2r1+ pe( rit x2— 1), 
xt0 ={1,1), 
k=1, 41=1, F(x, 4)=7r1+t27ri+2r1 t+ (rt x2— 1)?. 
任 选 一 种 无 约束 极 小 化 算法 , 可 解 得 F(x, 1) 的 元 约束 极 小 点 为 
x = 0,2,0.4), Fx‘, p1) =0,32, 
k=2, 2= 10, F(x, np2) = r+2z2+2rx1t+ 10(r1+ z2—1), 
以 x 中 为 初始 点 , 可 求 得 FCx, pa) 的 极 小 点 为 
x =(0.32,0.625), FUxzt p2) =1.5237, 
k=3, pn3= 100, F(x, £3) = rt+2r3+2r1+ 100tz1+ x2 — 1)7, 
流 x 人 2 为 初始 点 ,可 求 得 (x, ps) 的 极 小 点 为 
x {0.325,0.662), F(x'™, p3) = 1.537, 
k=4, 4=1000, F(x, p34) = 17+272 +271+ 1000(x1+ x2— 1). 
以 x'3 为 初始 点 , 可 求 得 F(x, pa) 的 级 小 点 为 
x = (0.3324,0.6662), Flx'®, p3) = 1.663. 
而 原 问 题 的 精确 极 小 点 与 极 小 值 为 


X= | 二 ,全 | ,f(¥) = D1.6666. 
x 已 很 接近 zx. 同时 可 以 看 出 , F(x 全 1* 了 7 py) 单调 上 升 ,并 趋 于 F(x). 
3.11.2 障碍 函数 法 


障碍 函数 法 又 称 内 点 法 , 在 选民 过 程 中 总 是 从 内 点 出 发 , 并 保持 在 可 行 域 内 部 进行 搜 
索 . 因 此 ,这 种 方法 适用 于 只 有 不 等 式 约 束 的 问题 ， 
设 有 纯 不 等 式 约 束 问 题 
min f(x), 
st. gx)EO0, i=1,2,."",m. (3,11,3) 
设 原 问 题 内 部 非 空 , 初始 点 x 中 选 为 内 点 . 午 碍 函数 法 (内 点 法 ) 构 造 的 增 广 目 标 函 数 为 
Fix,Y)= f(x) + YB(r)., (3,11.4) 
其 中 ,yY>0, B(x)>0( 当 为 内 点 ), 且 当 x* 在 边界 时 , B(x) 的 值 为 无 穷 大 ,这 样 , 可 阻止 
F(x,7) 的 航 小 点 穿越 边界 ,因而 必定 被 根 制 为 可 行 点 ， 


障碍 负数 B(x) 有 两 种 常见 的 构 坦 方法; 
B(x)= -Srs(x)17! (3.11.5Y 
或 B(x)= -Bln ~ gi(x)]. (3.11.6) 


障碍 函 教 B4x) 的 这 两 种 构造 方法 各 有 优 缺 点 .相对 而 言 , (3.11.5) 结 构 较 简单 ,但 其 


导数 (如 果 可 导 的 话 ) 复 杂 , 更 适用 于 不 利用 导数 的 无 约束 极 小 化 算法 ; (3.11.6) 虽 然 较 复 
杂 , 但 其 导 函 教 却 较 简 单 , 因而 更 适用 于 利用 导数 的 无 约束 裤 小 化 算法 ， 

根据 障碍 函数 B(x) 的 定义 ,显然 , y 取 值 趟 小 . (3.11.4) 的 最 优 解 越 接近 {3.11.3) 的 
最 优 艇 .但 是 ,这 里 存在 与 外 点 法 类 似 的 问题 , 如果 7 本 小 , 则 将 给 (3.131.4) 的 计算 带 来 很 
大 困难 . 因 北 , 仍 采 取 序 列 无 约束 极 小 化 方法 (SUMT), 到 一 个 严格 单调 递减 理 趋 于 零 的 障 
碍 因子 数列 1 对 每 一 个 到 ,从 内 部 出 发 ,求解 增 广 引 标 函数 的 极 小 点 . 

障碍 菌 数 法 (内 点 法 ) 算 法 过 程 : 

(1) 取 x 中 为 内 点 , 71>>0( 通 常 取 7y1=1), 障 得 因子 编 小 系数 为 4,0<d<1,k=1,e>0. 

(2) 构造 增 广 目标 函数 Ftx, YY)= f(x)+ yiB(x). 

{3) 以 tt 为 初始 点 ,求解 无 约 东 优 化 问题 

min Flx, Y:), 

设 其 无 约束 极 小 点 为 rt ， 

(4) 如 困 yB(xzt0)<e, 则 停止 计算 ,输出 点 x0 ;否则 , 令 1= dX, =kt1, 转 (2)， 

注 , 从 理论 上 讲 ,* 必 一定 是 可 行 域 的 内 点 ,但 是 在 实际 计算 过 程 中 , 由 于 步 长 是 取 离散 
数值 ,以 及 会 入 误差 等 原因 ,使 zt*， 有 可 能 取 为 非 可 行 点 , 在 这 种 情况 下 , 应 选用 优 于 
z+ 的 内 点 来 取代 二 ， 


3.11.3 混合 惩罚 函数 法 


外 点 法 5 惩罚 函数 法 ) 和 内 点 法 (障碍 羡 数 法 ) 各 有 其 优 仍 点 :外 点 法 适 用 面 宽 , 既 可 处 理 
不 等 式 约束 , 叉 可 处 理 等 式 约 东 , 但 所 得 的 近似 极 小 点 的 可 行 性 差 , 一般 者 是 外 点 , 连 不 等 式 
约束 也 不 能 满足 ; 内 点 法 的 适用 面 窗 , 仅 能 处 理 不 等 式 约束 , 但 所 得 的 近似 极 小 点 的 可 行 性 
很 好 , 是 内 点 ,能 满足 所 有 不 等 式 约束 .因此 ,往往 特 内 点 法 和 外 点 法 结合 起 来 使 用 , 称 之 为 
混合 候 制 函数 法 . 当 给 定 初 始点 x 中 后 ,对 x 个 满足 的 那些 不 等 式 约束 , 按 内 点 法 来 构造 联 
碍 函数 B(x), 对 x 中 不 满足 的 那些 不 等 式 约束 和 等 式 约 东 , 按 外 点 法 构造 惩罚 函数 P(x). 
同时 , 在 算法 程序 中 , 为 加 快 选 代 , 碱 少 计算 重 , 将 利用 航 小 点 的 已 知 近 介 值 通过 外 推 的 途径 
来 提高 计算 效率 ， 


在 混合 巧 罚 函 数 法 中 , 增 广 目标 函数 (x, yi) 的 构造 为 


F(x F=f/(x) + yiP(X) + B(x). (3.11.7) 
其 中 ， Ye 满足 ， Yi 72> >0, 且 


Plx) = SD\{h (x)], 
j= 


B(x) = Pg(2)],, 


或 B(x)= - Din ~ g(x)1-1. 
泥 合 您 罚 函 数 法 的 终止 准则 为 | yrIP(ze)|<s 或 | 7.8(x 中) | 才 6, 或 将 测 者 联合 使 用 . 
泥 合 忽 罚 函数 法 的 基本 算法 步骤 如 下 . 


(1) 取 初 始点 x 中, 使 满足 (x 人 中) 尖 0, gz)<0,yi=1l,c>1( 道 常 取 <=4 或 = 
10),s>0, 令 大 =1， 


{2) 构造 Flx,P)= fx) + yr P(x) + B(x), 
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以 xt 为 初始 点 ,求解 无 约束 极 小 化 问题 
min Plx, Y). 
设 无 约束 极 小 点 为 x 人 
(3) 极 小 点 外 推 , 记 


1 - 
Fy) th-l) 


i (3.11.8) 
c2—1 
- 1 - 意 上] 
加 《二 ~ 3) 《二 一 上 
或 i= ete) tor (3.11.9) 


(c-1)(e2-1) 
车 有 g(x) <<0,7=1,2,…,m,; 令 x 个 =X; 否则 ,会 弃 勾 ， 
(4) 车 点 x 人 满足 终止 准则 ,输出 x ,计算 停止 ;否则 , 令 Y= Yi/c,k=k+1, 转 (2). 
在 以 上 算法 中 , {3.11.8) 为 极 小 点 的 一 阶 舍 计 , (3.11.9) 为 二 阶 合计, 当 已 有 名 个 进 护 
点 x 之 后 ,采用 (3.11.9) 的 效果 较 好 . 


3.12 可 行 方向 法 


可 行 方 向 法 (feasible direction method) 是 一 大 类 算法 ,最 早 的 一 个 可 行 方向 法 是 1960 
年 由 台 ,zoutendijk 提出 的 .现在 ,可 行 方 向 法 已 经 发 展 成 为 求解 约束 问题 的 一 类 重要 算法 ， 
它 的 基本 原理 非常 直观 . 

在 给 定 一 个 可 行 点 x*) 之 后 ,用 某 种 方法 确定 一 个 改进 的 可 行 方向 a"* ,求解 一 个 有 约 
束 的 一 维 搜索 和 问题, 得 到 最 优 步 长 下 ,全 xD = 的 如果 xt0 仍 不 是 最 优 解 ， 
则 重复 上 述 步 台 . 这 样 ,可 得 到 点 列 |xz490| .在 适当 的 条 件 下 ,能 通 近 于 >， 

各 种 不 向 的 可 行 方向 法 的 区 别 主要 是 构造 下 降 可 行 方向 #4? 的 方法 的 不 同 . 另外 ,每 种 
具体 的 可 行 方向 法 在 处 理 不 则 的 东 类 型 的 问题 时 , 其 有 效 性 也 有 较 太 区 蜀 .下 面 ,将 针对 问 
题 的 约束 条 件 的 类 型 介绍 相应 的 较为 育 效 的 算法 . 

根据 选择 可 行 方向 的 策略 不 同 ,大 体 上 可 将 可 行 方向 法 分 为 三 类 : 

{1) 通过 求解 一 个 线性 规划 问题 来 确定 可 行 方向 ,如 Zoutendijk 方法 、Frank-Wolfe 方 
法 , Topis-Veinott 方法 等 ; 

《2) 利用 投影 矩阵 , 直接 构造 一 个 改进 的 可 行 方向 , 如 Rosen 的 梯度 投影 法 和 Rosen- 
Polak 方法 等 ; 

(3) 利用 既 约 梯度 , 直接 构造 一 个 改进 的 可 行 方向 , 如 Wolfe 的 踊 约 梯度 法 及 各 种 履 
进 、 西 单纯 形 法 . 

下 面 分 别 介绍 各 种 可 行 方向 法 ,首先 介绍 Zoutendijk 可 行 方向 法 ， 


3.12.1 线性 约束 情形 
考 虚 非 线性 规划 问题 
min f(x), 
s,t, et, | (3.12.1) 
Ex=e. 


其 中 , FAxz) 为 可 微 函 数 ,和 为 m Xn 算 阵 ,上 为 :xn 矩阵 ,x EE",b 和 e 分 别 为 m 和 ! 维 
列 启 量 . 

首先 讨论 怎样 选择 下 降 可 行 方向 . 

定理 3.41 设 *+ 是 问题 (3.12.1) 的 可 行 解 ,在 点 x 佬 有 六 x= A 太 2x 之 B82, 其 中 


A 


则 非 零 向 量 d 为 x 处 的 可 行 方 向 的 充 要 条 件 是 414<0, Ed =0. 
证 明 必要 性 ” 设 非 零 向 量 4 是 * 处 的 可 行 方向 .根据 可 行 方向 的 定义 , 存在 数 8>0， 
使 得 对 每 个 1E (0.9), 有 xY+ 志 为 可 行 点 , 绑 


生 ( 莹 直 坷 ) 扫 二 (3.12.2) 
E(x+id})=e. (3.12.3} 
、 总 11 bitriAd 
由 于 Ati+a)=| C+)=| > | 
3 二 2 十 Ez 
因此 (3, 这 ,2) 即 
te] 网 
。 过 . 《3,12.4) 
六 +t 有 2 b» 
由 于 :>0, 由 {3.12.4) 可 得 419 志 0, 叉 由 (3.12.3) 得 到 Ed =0. 
充分 性 设 
Ard0, Fd=0. {3.12.53) 
出 于 42x 达 Bb, 则 存在 正 数 58, 使 得 对 于 所 有 的 1:E {0,5), 成 立 
r+ dB, (3.12.6) 
根据 假设 (3.12.5) 及 4i=5 得 | 
Al(x+id)Sb. (3.12.7) 
(3.12.56) 和 (3.12.7) 即 
A(r+id)Sb, (3.12.8) 
又 由 Ed = 0 太 Fx =& 可 知 
E(xtid)=e. (3.12.9) 


(3.12.8) 和 (3.12.9) 表 明 + md 是 可 行 点 ,因此 d 是 x 处 的 可 行 方向 . 
推论 ”在 定理 3.41 的 条 件 下 ,若非 零 向 量 4 同时 满足 ， 


1 Ed =0, W(x)Td<D, 

则 d 是 和 处 的 下 降 可 行 方向 . 为 
根据 此 推论 , Zoutendijk 法 把 确定 搜索 方向 归结 为 求解 线性 规划 问题 ， 六 
min V(x)id, 

tt < ， Ei 

st AldeD (3.12.10) 

Ed = 0, 

罗 


ld ll 7= 1 n. 
其 中 ,增加 约束 条 和 件 |14)| 志 1, 是 为 了 获得 一 个 有 限 解 . 
在 (3.12.,10) 中 ,显然 4=0 是 可 行 解 .由 此 即 知 ,目标 沙 数 的 最 优 慎 必定 小 于 或 等 于 0. 


S 


如 果 目 标 函 数 YF(x)Ta 的 最 优 值 小 于 堆 , 则 得 到 下 降 可 行 方向 di 否则 , 即 YF(zjreg 的 最 
优 值 为 零 , 刚 如 下 面 定理 所 诈 ,x 是 K-T 点 . 
定理 本 ,42 考虑 问题 (3.12.1), 设 并 是 可 行 解 ， 在 点 此 处 有 六 1x = 上 1 和 起 2 之 2， 其 


网 a 风 
4 = ,b=| | ， 
成 2 而 > 
则 x 为 K-T 点 的 充 要 条 件 是 VA(x) Ta =0. 
证 明 根据 定义 ,x 为 K-T 点 的 充 要 条 件 是 存在 向 重 w 渤 0 各 vy, 使 得 


YF(r)+tATn+ Ey=0. (3,12.11) 
令 y=p 一 9,p;,9 这 0. 把 (3.,12,11) 写 成 


中 


了 + 
(CAT, E',- ED)|p|= ~ V(x), (3.12.12) 
a 
慰 
P10. 
可 
根据 Farkars 定理 , {3,12.12) 有 解 的 充 要 条 件 
芒 ， 
Elde0, -Vf(x) Td >0 (3,12.13) 
一 忆 


无 解 , 即 
VrTd<0 41as0 Ed =0 无 解 . 
所 以 x 为 K-T 点 的 充 竖 条 忻 是 问题 (3.12.10}) 的 目标 函数 的 最 优 信 等 于 伶 . 


根据 上 述 定 理 , 求解 问题 (3.12.10) 的 结果 或 者 是 得 到 下 降 可 行 方向 , 或 者 是 得 到 K-T 


其 次 ,分 析 怎 样 确定 一 维 搜 索 的 步 长 . 
设 x* 的 是 (3.12.1) 的 可 行 解 ,不 妨 看 作 第 二 次 迭 和 伐 的 出 发 点 .de 为 x! 二 处 的 一 个 下 降 
可 行 方向 .后 继 点 x 中 + 由 (3,12,14) 给 出 
XD = dt), (3.12.14) 
现在 要 解决 的 问题 是 怎样 确定 #44. & 的 取 值 原则 有 两 条 :第 一 ,保持 迁 代 点 xD + pd 人 的 
可 行 福 ;第 二 ,使 目标 函数 值 尽 可 能 小 . 
根据 上 述 原 则 , 可 以 通过 求解 下 列 一 维 搜索 问题 来 确定 步 长 点 , 有 
min PCztD+ 志 全) 
st， Alri 十 二 人 < 
E{ ri*) + i 1) = 8, 
1 0, 


(3.12.15) 


问题 (3. 12.15) 可 作 进 一 步 简化 . 
由 于 4 是 可 行 方向 , 必 有 
Ed +) = 0, 


Fx‘ 一 
因此 ,(3.12.15) 中 第 二 个 约束 是 多 余 的 . 
此 外 ,在 点 x 人 处 ,把 不 等 式 的 约束 区 分 为 积极 药 束 各 不 积极 约束 , 其 对 应 的 系数 矩阵 
分 别 记 为 & 和 六 , 即 


Aix'* 一 十 1， (3.12.16) 
Ayx'tl< by, (3,12.17) 
不 妨 假设 
41 bs 
-| | | | (3.12.18) 
症 > b2 


这 样 (3.1.15) 中 第 一 个 约束 可 以 写成 
r+ tAid*) | bi 
向 30 十 ,|<| 串 ， 
由 于 d 9 为 可 行 方向 , A1d 帮 0, 1 之 0, 以 及 起 1x 人 =, 因此 
db 
自然 成 立 ,约束 条 件 (3,12.19) 篇 化 为 
x 十 2d < 有 《3.12.20) 


(3.12,19) 


这 样 , 间 题 (3.12.15} 简 化 为 


St xt +iAd < 证 
0. 
根据 {3.12.21) 的 约 东 条 件 , 容易 求 出 的 上 限 , 令 
多 二 82 一 各 2xt)， {3,12.22) 
和 二 有 dt {3.12.23) 
由 (3.12.17) 知 了 >0.(3.12,21) 的 约束 条 件 可 以 写成 
要 二 
t=0, 


2， dD; 
t nax = min{¥ a.>0), 其 他 . {3.12.24) 


min flxtt) + rd)), 
{3.12.21) 


由 此 得 到 : 的 上 良 为 


问题 (3.12.15) 最 终 季 化 成 
ir FE) 《二 
oo G2.25) 


tmax 由 (3,12.24) 确 定 ， 

综 上 所 述 , 绍 定 问题 (3,12.1) 和 和 一 个 可 行 点 以 后 , 可 以 通过 求解 间 题 (3.12.10) 得 到 下 
降 可 行 方向 ,通过 求解 问题 (3.12.25) 确 定 沿 此 方向 进行 一 维 搜索 的 步 长 . 

最 后 ,确定 初始 可 行 点 .实际 上 , 解 岂 这 个 问题 的 基本 思想 在 研究 线性 规划 时 已 经 提出 ， 
为 求 (3. 雪 .1) 的 一 个 可 行 点 ,引入 人 工 变量 (向 量 ) 上 4 和 9, 和解 转 助 线性 规划 


町 晶 国 大 和 一 四 留 王 动 而 时 二 


wb Be 


本 


i 


“1d :| 


min (D8 + 2 1) 


st， Ax+ 志 所 上 ， {3.12.26) 


Ex+ 和 =e， 
上 之 0 了 之 小， 
”如 果 (3,12,26) 的 最 优 解 
(x, C3)= (x,0,0), 
那么 x 就 是 (3.12.1) 的 一 个 可 行 解 . 
当然 ,如 果 通 过 观察 和 试 算 容易 求 得 初始 可 行 解 ,就 不 必 再 解 线性 规划 (3.12.26)， 
侣 行 方向 法 的 算法 砂 又 如 下 ， 
{1) 给 定 初始 可 行 点 x 路 , 令 玉 =1， 
(2) 在 点 x 个 处 把 A 和 分 解 成 
EE bi 
[4 和 和 网 
使 得 x = 四， 2 之 B22. 计算 六 (x 各). 
(3) 求解 线 福 规划 问题 
min Vix) TE, 
s.t, Ad 
Ed =0, 
- 1dAl， j=1,.…,n. 
得 到 最 优 解 gd . 
(4) 如 果 守 (xz 的 )Tdt =0, 则 停止 计算 ,x 中 为 有 K-T 点 ;否则 , 转 (5). 
(5) 利用 (3.12.22) 一 (3.12.24) 计 算 em 然后 ,在 [0, tm] 上 作 一 维 搜索 : 
min Fix + rd #7y, 
s.t, ORStpm. 
得 到 最 优 解 ti, 令 
tl) tt) td *) , 
(6) 令 庆 = 请 + 1 返回 (2). 
侧 3.18 用 Zoutendijk 法 解 下 列 问 题 ; 
min x1+x2—27rl-4r2+6, 
st， 2r1— zx- 1<&0, 
X1+ xX2 20, 
~ Zl 0, 
-了 2 扩 0, 
解 ” 取 初始 可 行 点 x= (0,0)T. 
第 一 次 述 民 
x)= (一 2, 一 4)7, 在 x 个 处 ,积极 约 东 和 不 积极 约束 的 系数 和 矩 阵 及 右 端 分 别 为 


0 1 
=(| b=) : 
先 求 在 x 中 处 的 下 降 可 行 方 启 , 解 线性 规划 问题 : 
min Vf(lxtD)Td, 


Ss.t， 入 19 二 0)， 
[dl<1,j=1,2. 
即 min -2di-4d? 
s.t, dl 完 0, 
da 之 0， 
-1 委 di 饼 1， 
一 1 过 d2 委 1. 
由 单纯 形 方法 求 得 最 优 解 
aw=|). 
1 
再 求 步 长 上 11 


i 
ee 


= (+, 2 1 
fuux = mini 2 


解 一 维 搜索 问题 
min fix +d )=21 6t+6, 
st， O01}, 
得 ti1=1, 
第 二 次 送 代 
VACxD) = (0, - 2)T， 
Ai ,= 0 
， 1 1 0 -li 
.= 
5 站 = | 中 
解 线性 规划 问题 : 


Ee 0 


心 
哆 


二 一 LL ~， 区 
里 最 回回 图 四 图 


六 


0 + 


EE EE ET Eb 


es 
[a 


加 图 


min 一 2d2， 
st. 2di— dD0, 


dat ds.0, 
-1 二 d | 坊 1， 
-1&d; 守 1. 
用 单纯 形 方法 求 得 最 优 解 
-1 
ee 
再 沿 4 人 搜索, 求 步 长 ta: 


= 


se 


得 到 1 ,=1. 
求解 一 维 搜索 问题 
min f(x + td) = 2602 一 2tr+2， 
st， 0 和 t+ 和 1 


x x + td 
| 
一 十 二 三 
| 2 1 


V(rD)= 1, -1)7, 
2 -1 
Ai=(1,1),As=1-1 0 
0 一 1 

1 

bi=(2),b2= |0|. 

0 


S| tb 呈 


第 三 次 选 代 


3 


解 线 性 规划 
min 一己 一 全， 
st. dl+ dR0, 
-1 所 dj 所 1， 
~ 1d; 寺 1. 


a®=| |. 
0 


用 单纯 形 法 求 得 最 优 解 


根据 定理 3.42, x ~ 士 , 3] 是 K-T 点 .由 于 此 例 是 本 规划 ,因此 x 是 最 优 解 ,上 
标 函数 的 最 优 信 为 


3 
fan= ze)= 冯 


3.12.2 非 线性 约束 情形 


考虑 不 等 式 约束 问题 
min f(x) 
St, gxX)EO, i=1,',m,. 
其 中 ,x € E", f(x),g;(x) 均 为 可 微 帅 数 . 
先 讨论 怎样 求 下 降 可 行 方向 . 
定理 3.43 设 x 是 问题 (3.12.27) 的 可 行 解 ,T= {i|g:(x)=0i 是 在 x 处 积极 约束 下 
标 梨 , 又 设 函 数 f(x), g(x)(iEDT), 在 x 处 可 微 ,函数 g(x){i 作 1) 在 x+ 处 连续 .如 果 
Yrx) ed <o, 
Vg:(x)d<0, iEl, 


{3.,12.27) 


则 4 是 下 降 可 行 方向 . 
证 盟 设 方 向 8 满足 W(x) Td<0 及 外:(x) id<0(iET). 
当 i 外 T 时 , gy(x)<0. 由 于 g(x)(i 告 1) 在 x 处 连续 ,因此 对 足够 小 的 上 >0, 必 有 
gi(x+ta)<0, il. (3.12.28) 
当 iET 时 ,由 于 glx) 在 x 处 可 被, 必 有 
gilr+td)= g(r) ttVe (x) Td +o(td), 
由 此 得 


St gv yra + od) {3.12.29) 


已 知 交 :(x)Td <<0, 因 此 当红 >0 充分 小 时 , (3.12.29) 右 端 小 于 零 , 由 此 推 得 左 端 小 于 零 . 
由 于 g(x)=00iED), a gtx + id)e0. 
由 以 上 分 析 即 知 , 对 足够 小 的 1 >0, 必 有 
gi(x+td)0, i=1,. ,mm. 《3.12.30) 
因此 & 为 x 处 的 可 行 方向 ,又 由 于 允 (xz7Ia<0, 因 此 由 是 x 处 下 降 可 行 方向 . 
根据 上 还 定理 , 求 下 降 可 行 方向 也 就 是 求 满足 下 列 不 等 式 组 的 解 4: 
VCxzJTE<0， 
Vgi(x) Td<0, iEI. 
进而 归结 为 求解 下 列 线 性 规划 问题 : 
Tu Ts 
st. Vx}'d -zl0, 
VgA(x)Td -~ z0, i€ET, 
[dali, j=1,.…,n. 
设 全 .12.31 的 最 优 解 为 4z,G), 如 果 =<0, 则 站 是 在 xz 处 的 下 降 可 行 方向 ;如 果 = = 


(3.12,31) 


51 


ro 
Ea 


"1 #2 “上 


rt Fe 
党 国 国 喇 图 


0, 下 面 将 证 明 , 相应 的 x 必 为 Fritz John 点 ， 
定理 3.44 设 x 是 问题 43.12.27) 的 可 行 解 ,T= |i| g(x)=01, 则 x 是 Fritz John 点 
的 充 要 条 件 是 癌 古 ({3,12.31) 的 目标 函数 最 优 值 等 于 零 ， 
证 明 ”对 于 问题 (3.12.31), 目标 函数 值 等 于 零 的 充 要 条 件 是 不 等 式 组 
VCz)d<0， 
Wr) rd<0, iET (3.12.32) 
无 解 ， 
根据 Gordan 定理 , (3.12.32) 无 解 的 充 要 条 件 是 存在 不 全 为 零 的 数 xz20 和 4; 守 0， 
f 忆 了 ,使 得 
uovf (x)+ 3 uvgi(x) =0, 
即 x 是 Fritz John 点 . 
为 了 确定 步 长 ,仍然 需要 求解 一 维 搜索 问题 ， 
min f(x + ead), 
gt OC 《3.12.33) 
其 中 
to = supli|g (x tt t ed tO0, i=1,-., m}. (3.12.34) 
算法 步 怠 如 下 : 
(1) 给 定 初始 可 行 点 x 中, 令 k=1. 
(2) 令 了 = ||g(x*) =01, 解 线性 规划 问题 : 
st, W(x)TA -20, 
Vgi{(x tt ) Td -rE0, iET, 
- 1dl， j=1, ,nt. 
得 最 优 解 (x d00), 若 ss 一 0 则 停止 计算 ,zt 人为 Fritz John 点 ;否则 , 转 (3). 
(3) 求解 一 维 搜索 问题 : 
min Flix} + dt?), 
St 0 nme. 
其 中 ,16 由 (3.12.34) 确 定 ,得 到 最 优 解 i;、. 
(04) 令 斌 业 t= 让 守 d 站 令吉 +1, 返 回 (2). 


3.13 Rosen 梯度 投影 法 


在 研究 无 约束 最 优化 算法 时 已 经 知道 , 负 梯 度 方向 是 个 局 部 的 最 速 下 降 方 向 .然而 , 当 
约 东 存在 时 , 窜 最 速 下 降 方向 可 能 导致 非 可 行 解 .1960 年 , Rosen 提出 梯度 投影 法 ,把 负 梯 度 
方向 在 某 个 子 空间 内 投影 , 使 乔 洪 着 这 样 一 个 投影 方向 目标 值 可 以 得 到 改善 ,同时 保持 可 行 
性 ， 


3.13.1 投影 矩阵 
定 六 3.21 投影 矩阵 (projection Immatrix) 设 庆 为 n 阶 方 阵 , 若 P=p', 且 PP*=P, 则 


称 P 为 役 影 算 阵 . 
投影 矩阵 具有 下 列 性 质 ; 
(1) 车 P 为 投影 给 阵 , 则 Pp 为 半 正 定 和 矩阵 .这 是 因为 , 对 任意 xE BE" ,有 
xiPx=x'Pphr=(Px)' (Pr)0. 
(2) PP 为 投影 矩阵 的 充 要 条 件 是 如 = 工 - 了 为 投影 矩阵 . 
(3) 设 PP 各 =I-P 是 n 阶 投影 抵 阵 , 则 
L=|Pxr|lxEE’"| 
与 Li=iQxr|lxEE"| 
是 正 交 线性 子 空间 , 且 任 意 xE Er" 可 唯一 分 解 成 x=p+g,pEL,gELL. 
设 且 是 mxn 矩阵, 秩 为 mY 为 任意 xn 维 向 量 . 令 
P=M (MM') IM, (3.13.1) 
QO=I- MMMT) IM. (3.13.2) 
可 以 验证 ,P,Q 均 为 投影 矩阵 . Py 就 是 向 量 y 在 M 的 行 向 量 所 生成 的 子 空 间 上 的 投影 , 而 
向 量 8y 则 是 向 量 y 在 时 的 零 空间 上 的 投影 , 即 8y 满足 MQy 0. 而且, 向 其 Py 与 Qy 是 
正 交 的 ， 


3.13.2 梯度 投影 法 不 理 
考虑 问题 


s.t. Arb, 
Ex=#. 
其 中 , f(x) 是 可 微 落 数 , 4 为 m x n 给 阵 ,E 为 1xn 算 阵 . 
梯度 投影 靶 的 基本 思想 仍然 是 从 可 行 点 出 发 , 沿 可 行 方向 进行 搜索 . 当 适 代 出 发 点 在 可 
行 域内 部 时 , 沿 负 梯 度 方 向 搜索 . 当 迷 代 出 发 点 在 某 些 约束 的 边界 条 件 上 时 , 将 该 点 处 的 负 
梯度 投影 到 M(M 是 以 积极 约束 或 部 分 积极 约 训 的 梯度 为 行 构造 成 的 矩 血 ) 的 竹 空 间 , 再 
沿 此 投影 方向 进行 搜索 .可 以 证 明 , 这样 的 投影 是 下 降 可 行 方向 , 因此, Rosen 梯度 投影 法 也 
是 可 行 方向 法 . 
定理 3.45 设 x 是 问题 (3.13.3) 的 可 行 解 ,在 点 x 处 ,有 Aix= 1, 六 xx 之 582, 其 中 


各 = ,b= ， 
FE b, 


min f(x), 
| (3.13.3) 


又 设 M= 1 
为 满 秩 和 矩阵 , P= 了 ~ MTCMMT) 1M, PY(x) 兴 0, 邻 
d= ~P VFA(x), 


则 & 是 下 了 桥 可 行 方向 . 
证 明 由 于 PP 为 投影 算 阵 ,PW(x) 关 0, 因 此 必 有 
VHAOx) Td= ~ VA(XOITP Vx) (3.13.4) 


=- HP v(x):<0, 
即 4 为 下 降 方向 .根据 假设 ,又 有 
Md = —- MP V(x) 


加 图 尚且 河 加 回 轿 


吕 


rr 


~ 1 TE 0 说 J 
一 和， 本 + 加 BR hh 二 | 本 
六 这 -= : 守 c+ 


=— MC(I- MIMMT) IM) W(x) 
= M+M)Y(x)=0, 
即 A414 =0, Bd =0, 根 据 定理 3.41,4 是 在 x 处 的 可 行 方 疝 . 考 虑 到 (3.13.4),d 是 下 降 可 行 
方向 ， 
上 述 定理 ,在 PWY(x) 到 0 的 假设 下 , 给 出 用 投影 求 下 降 可 行 方向 的 一 种 方法 . 当 
P YF(x)=0 时 ,可 以 证 明 存在 两 种 可 能 ,或 者 x 是 和 K-T 点 ,或 者 可 以 构造 新 的 投影 矩阵 , 以 
便 求 得 下 降 可 行 方 向 ， 
定理 3.46 设 是 问题 (3.13 ,3) 的 一 个 可 行 解 ,在 点 x 处 ,有 Aix=b1, 太 x 之 b>, 其 


和 
一 A 0 by 生 


中 
又 设 


为 满 秩 和 矩阵 , 令 

P=I-M'(MM') IM, 

W= - (MMT™)-!M v=|"). 
其 中 ,下 分 别 对 应 于 A 和 碧 , 设 PY(x)=0, 则 


(1) 如 果 g 汪 0, 那 么 点 x 为 代 荆 点 ; 
{2) 如 果 wu 中 含有 人 负 分 量 , 不 妨 设 ;之 0, 这 时 从 下 1 中 去 掉 w; 对 应 的 行 向 最 , 得 到 


站; 令 


m=[ 
FE 
P=1- 首 玉 属 前 站 -1 南 ， 
d= -Pb V(x), 
那么 4 为 下 降 可 行 方向 . 
证 明 (1) 设 w 污 0, 由 于 PY(tx)=0, 则 有 
0O=P V(x) 


=(I—- MTCMMTD) IM) W(x) 

= xr) MIMMTD) IM V(x) 

= V(x)+ ATn+tEly. {3.13.5) 
【3.13.5) 恰 为 长 工 条 件 , 因 此 ,x 是 长 -T 点. 

(2) 设 如 <<0. 先 证 户 Y(x) 关 人 ;用 反 证 法 ,假设 W(x)=0. 由 让 的 定义 可 以 挫 出 
0=P V(x) 

={I- MND HY) 

= V(x)+ MIW. (3.13.6) 
其 中 , 帘 = 一 《< 府 商 耻 下 阴 守 (x). 设 A1 中 对 应 uj 的 行 向 量 为 r,( 第 ; 行 ), 由 于 


Alut+ Eliy =AIn+urlt Ey 


= MW + or (3.13.7) 
把 (3.13.7) 代 入 {3.13.5), 则 
0= V(x)+ TW + zr 《3.13.8) 
由 (3.13.6) 一 (3.13.8) ,得 
0= 庆 人 到 一 并 )+ ur] (3.3.19) 
(3.13.9) 右 端 等 于 M 的 行 向 量 的 线性 组 合 ,县 至 少 有 一 个 系数 & 关 0. 由 此 得 出 M 的 行 向 
量 组 线性 相关 , 这 个 结论 与 M 行 满 秩 牙 盾 .因此 必 有 了 W(x) 考 0， 
由 于 请 为 投影 矩阵 , 训 守 (xz) 天 0 ,出 
Vix) d= — Vx) V(x) 
= -|p vr) 1 <0. 
局 此 d = -请 玉 (x) 蚌 下 降 方 向 ,下 面 证 明 4 为 可 行 方向 .由 于 
Ma = — MP VACx)= -MM MV Vx) = 0, 
即 Aid=0, Ed=0. {3,13,11) 
由 (3.13.8) 两 映 堪 乘 r 记 ,得 
rpvr) +t rpm WW + urPri=0. 
由 于 T=0,4= 一 名 (xz), 故 


(3.13.10) 


—rA+ urPrl=0, {3.13.12) 
由 于 让 半 正 定 , rpPrj2z0 及 wj;<0, 因 此 
rAd = ar 证 FS0. 《3.13.13》 
由 (3.13.11) 和 和 (3.13.13) 知 
AldE0, Ed =0. 


根据 定理 3.41, d 为 斌 行 方向 .考虑 到 (3.13,10),d4 为 x 处 的 下 降 可 行 方向 ， 
梯度 投影 法 的 算法 步骤 如 下 : 
(1) 给 定 初始 可 行 点 x 介 , 令 到 =1. 
(2) 在 点 x 的 处 ,将 和 和 8 分 解 成 
A1l [bi 
网 | 2 : 
使 得 A1x = bat By. 
《3) 令 


如 果 M 是 室 的 , 则 令 
P= 了 (单位 矩阵 ); 
否则 , 令 P=I- MT(MM'T) I'M. 
(4) 令 中 = 一 P 于 (x 中 ) ,车 dt 隆 0, 则 转 06); 若 4 中 =0, 则 转 (5)， 
{5) 车 M 是 空 的 , 则 停止 计算 , 得 到 x ;否则 令 
W= — (MMT) IM YYFCY 人 OO) =|" . 


如 果实 0, 则 计算 停止 ,x 为 K-T 点; 如果 包含 负 分 量 , 则 选择 一 个 负 分 量 , 比如 世 , 修 


J55: 


固 利 团 关 日 医 开国 起 三 自 可 区 


过 


Es 


| 
吕 
二 人 


~ 
上 


加 一 萌 司 草 


8， 


正 上 ,去 掉 41 中 对 应 ui 的 行 ,返回 (3). 
(6) 解 下 列 问 题 , 求 步 长 #4: 
min flrt + dy), 
St， 0Stna. 
其 中 , tm 由 (3.12.24) 确 定 . 解 得 去, 令 
和 x 十 ide), 
令 &=R&+1, 返 回 (2)， 
例 3.19 用 Rosen 梯度 投影 法 求解 下 列 问 题 : 


min (zx)=2z1+2z 一 27r1z2 一 4 一 站 二 2 


s.t. xit+ T2122, 
工 1 十 Sras5， 
-zl 所 0, 
— x0. 
解 ” 取 初始 可 行 点 *(D = (0,0)7. 在 点 x 处 的 梯度 为 
v(x) = 471 一 272 一 | | 
4zz—2zx1—6 
第 一 次 选 代 
在 点 x 的 梯度 为 


wo 


在 x 由 好 积极 约束 指标 集 了 = |3,41, 因此 将 约 东 系数 矩阵 & 和 右 端 b 分 解 为 


“i 
|. 
投影 矩阵 为 
P =I- AI(AAI) 'A) 


-1? 
0 1 


| 


d= -~ p(x) = , 


令 W= (AAD iar ced)=| 7 = ， 


6 


U2 


修正 站 1, 去掉 着 1 中 对 应 Wa 二 -6 的 行 , 即 第 2 行 ,得 到 Al=(—1,0), 


再 求 投影 矩阵 记 ; 
Pb =1- Af(AIAT)T A 


-era ro-lo 中 


-ds 


oe 


0 1 八 -6 ‘6 
求 步 长 是 : 
| Ga 
由 于 
ee 
ee 
ms ee 


这 样 ,{3.43.147 即 
min 7T2t2—361 


S,， 0<t<t. 


0 
xxm+raao=| 9 


第 二 次 硫 代 
在 点 x 人 处 ,起 作用 约束 指标 集 [= 12,31, 梯 度 


4 和 分解 成 


投影 矩阵 
P=I—AT(AIAI) Al 


-2 9 J ol 
-re 
这 样 ,方向 do = PY(x®)= [中 


WW= (各 AT 1A xD) 一 


从 Ai 中 去 掉 ws= - 学 所 对 应 的 第 2 行 ,得 到 


l=(1,5). 
令 Pp =1- AT(AIAT) A 

7s 
1 0 1 111 26 
-| 下 -ea 中 (1,5)= 5 
26 

- -14| 5 

令 ao- -P vtze)= 拓 小 


不 妨 去 掉 前 面 的 系数 , 取 搜 索 方 向 
de = | | , 


一 
这 时 ,有 b 54Aax 


x +d = | | + | -| ?| 
1 一 1 1—zr 
则 了 (zxt + ed )=621 28: —4. 
求解 问题 min 6212 -28t—4, 
8.t, 0 
得 到 t= 训令 
35 
td |31 
24 
31 
第 三 次 进 代 
在 点 x 处 起 作用 约束 指标 集 1 = |21, 梯度 为 
_ 半 
a 31 
V(X)= 6 
31 
将 和 5 分 解 为 
1 1 
上 =(1,5),42=| -1 中 
0 -1 


2 
b=(5), b= |0|, 
0 


投影 矩阵 为 
王 = 工 一 点 区 页 1 各 1T7 IA | 
_f1 0 [1 11 1 _1{25 -5 
-| 1 -al 引 qs 和 中 
0 
{2 (DY = 
则 d= — PV(x™) | 
有 本 = 一 (AT 14 VA(x) = 3 >0. 
根据 定理 3.46, 必 有 


35 
31 

{3) 一 
” 24 


为 K-T 点 .由 于 本 例 为 四 规划 , x'* 是 全 局 最 优 解 . 


3,14 既 约 梯度 法 


3.14.1 部 olfe 既 约 梯度 法 


Wolfe 于 1963 年 提出 产生 下 降 可 行 方向 的 另 一 种 方法 , 称 为 既 约 梯度 法 (reduced gradi- 
ent method), 简称 为 RG 算法 . 


下 错 介 绍 这 种 方法 ,考虑 具有 线性 约束 的 非 线 性 规划 问题 : 
min f(x), 
st。 wb | (3.14.1) 
x 
其 中 ,4 是 mm x n 和 矩阵 , 秩 为 m, 上 8 是 mm 维 列 向 量 , 是 下 上 的 连续 下 微 函 数 .假设 4 的 任 
意 mm 个 列 均线 性 无 关 , 并 且 约 束 茶 件 的 每 个 基本 可 行 解 均 有 mx 个 正 分 量 ,在 此 假设 于 , 每 
个 可 行 解 至 少 有 m 个 正 分 量 、 至 多 有 nn -mw 个 零 分 量 . 
Wolfe 度 约 梯度 法 的 基本 思想 是 把 变量 分 为 基 变 量 (xm 个 ) 和 非 基 变量 (n - 着 个 ), 它 
们 之 间 的 关系 由 约束 条 件 4x = 6 确定 ,将 基 变 量 用 非 基 变量 表示 , 并 从 目标 函数 中 消去 基 
变 晤 ,得 到 以 非 基 变量 为 自 变量 的 简化 的 目标 隧 数 ,进而 利用 此 函数 的 负 袖 度 构造 下 降 可 行 


方向 ， 简化 目标 汪 数 关于 非 基 变 量 的 梯度 称 为 目标 西数 的 既 约 梯度 . 下 面 分 析 怎 样 用 既 约 梯 
度 构 造 搜索 方向 . 


像 研究 线性 规划 那样 ,将 4 和 x 进行 分 解 ,不 失 一 般 性 , 可 令 
XB 
A= CBN),z=| | 。 
XN 


其 中 ,入 是 mm x mm 可 道 和 矩阵, xp 和 xw 分 别 是 由 基 变 量 和 非 基 变 量 构成 的 向 量 ., 这样 ， 
《3.14.1) 可 以 表达 为 


PA 
一 


ro 和 中 
加 回国 回 久 图 四 图 


haa 
BB 


区 


国 目 移 因 名 癌 国 图 风 加 


Fr ry pp 一- tk Be te - 
BE 本 胃 而 国 加 罗 卫 加 图 加 图 前 梧 


Ee 
一 


了 了 60 


min flxg, xN), (3.14.2) 


Ss.t. Bxrp+ Nxw=b, {3.14.3) 
rp XN 这 从 {3.14.4) 
由 (3.14.3) 可 以 得 出 
xa=B lb- BlNxry. (3.14.5) 
把 (3.14.5) 代 入 (3.14.2), 得 到 仅 以 XN 为 自 变量 的 旺 数 为 
F(xn) = f(xp(xN), zw)， (3.14.6) 


这 样 就 把 原来 间 题 简 化 为 仅 在 变量 非 负 限制 下 极 小 化 F(xw), 即 
min F(xy), (3.14.7) 
St， Xp, XN0. 
利用 复合 函数 求 导 法 出 , 可 求 得 FAxw) 的 梯度 , 即 FA(x) 的 是 约 梯度 为 
rixn)= YF(CxN) 
= Va fxp(xw), Xn) — (BT IN)TY, f(xp(xN), xw), 
显然 , 沿 着 负 既 约 实 度 方向 ( -x(xn)) 称 动 xm 能 使 刁 标 函数 值 下 降 . 
现在 研究 怎样 确定 在 点 x 信 处 的 下 降 可 行 方向 ff ,使 得 后 继 点 


XtD = x 4 pd et) 


荐 可 行 点 , 且 目 标 孙 数值 下 降 , 为 此 ,写作 


{3.14.,8) 


| 


其 中 , d 新 ? 和 4d 妙 ! 分 别 对 应 基 变量 和 非 基 变量 . 为 使 目标 函数 值 下 降 , 4 信 ) 应 取 负 既 约 梯度 
方向 ,但 是 当 某 个 分 量 XN =0, 且 r(xw) >0 时 , 沿 负 工 约 梯度 方向 将 导致 
Xm trit Fw} < 0, t~0. 
因而 破坏 可 行 性 .因此 ,定义 d 什 ,使 
Up | -x r(x ), r(x) >0, (3.14.9) 
’ 一 了 《二 个 2， r(x 0. 

定义 4 个 ' 后 ,为 得 到 可 行 方向 ,根据 定理 3.41, 应 有 

Ad(t) =0, 


即 Bdff) + Nd =0. 
因此 取 


d= -BNgdN). {3.14.10) 
由 于 zx 个 >0, 因 此 d 仿 ) 对 于 x 蕉 ) 也 一 定 是 可 行 方向 ,最终 得 


~B-! 让 
n=| B “| 


著录 ) 
余下 的 问题 是 多 定 步 长 i 为 保持 


工作 + 站， 


(3.14.11) 


即 
人 = 区 十 idl)0, j=1,.…,n, (3.14.12) 


需 确 定 t 的 取 值 范围 . 
当 4 的 节 0 时 ,对 任意 :之 0,(3.14.12) 恒 成 立 . 


当 4<0 时 ,应 取 
‘ky} 


pb 
pr 
oo ， 如 0, 
， ( (3.14.13) 
= x: 
min| -了 <0 ， 其 他 . 
i 


容易 证 明 , 当 按照 上 述 方 式 罩 造 的 方向 & 为 零 向 量 时 , 相应 的 点 zx 必 为 K-T 点 ;4 不 为 鹤 间 
村 时 , 它 必 是 下 降 可 行 方向 . 
定理 3.47 设 x 是 问题 (3.14.1) 的 可 行 解 ,4 = (8B,N) 是 mx 韦 阵 ,有 是 阶 可 北 
矩阵 , x = 《x$,xh)', xp>0, 函数 在 点 x 处 可 微 , 叉 设 d 是 由 (3.14.9) 和 (3.14.10) 定 义 
的 方向 .如 果 4 天 0, 则 4 是 下 降 可 行 方向 ,而 且 4 =0 的 充 要 条 件 是 x 为 人 -T 点， 
证 明 ”根据 方向 # 的 定义 ,有 
Ad= Bdn+ Nbuy=B(— B iNdn) + Ndy =0. 
根据 (3.14.9), 当 rw =0 时 ,av 兰 0, 又 xz>0. 根 据 定理 3.41,4 为 可 行 方向 ,由 于 
Vz) d= f(x) dat W f(x) dy 
= fx) (BB INdN) + VW f(x) dy 
=r{(xn) dy. 
当 dw 尖 8 时 ,根据 (3.14.9) 知 r(xw)Tdw 克 0, a 是 下 降 方 向 . 故 4 是 下 降 可 行 方向 ， 
现在 证 明定 理 的 后 半 部 .可 以 知道 , x 为 长 T 点 的 充 要 条 件 是 , 存在 腰子 up, nn 衬 0 和 
v ,使 得 


下 fr) BT Wa 0 | 
[7 [me uw 中 ， (3.14.14) 
wbx =0, (3.14.15) 
ulxw=0. (3,14,16) 
设 x 是 K-T 点 , 则 上 述 条 件 成 立 .由 于 
xn>0, Hp, 
划 由 (3.14.,15) 得 出 us =0, 从 而 由 (3.14.14) 得 第 1 个 方程 ,有 
?= 一 (8B7) Ye f(r), (3.14.17) 


把 (3,14.17) 代 入 (3.14.14) 的 第 2 个 方程 , 则 
un = Ve f(x) CB IN)TV, flx) . 
= r(xn)220. (3,14.18) 


由 (3.14.18) 和 (3.14.16) 知 

r(xN) xN=0, (3.14.19) 
几 于 xw 之 ,根据 (3.14.19) 得 

ri(xn)xn =0. 《3.14.20) 


由 (3.14.18), (3.14,201.(3.14.9) 和 (3.14.10) 可 知 
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d=0. 
反之 , 设 评 =0, 则 x(xw) 的 分 量 均 非 保 . 令 
uv=r(xn)= Ve F(x) (BIN)T VY, f(x)20, 
由 (3.14.9) 可 知 , (3.14,16) 必 成 立 .再 令 
wp =0,v= 一 (BV fx), 
则 人 .14,14) 和 (3.14.15) 拘 成 立 , 所 以 为 K-T 点 . 

既 约 梯度 法 的 算法 步 又 如 下 ， 

(1) 给 定 初始 可 行 点 x 1 ,允许 误差 >0, 今 上 =1. 

(2) 从 x 中 中 选择 m 个 大 分 量 , 其 下 标 集 记 作 J ,有 的 第 ; 列 记 作 p;, 令 B 是 由 | p;|3 
EJ 构成 的 m 阶 矩 阵 , N 是 由 ip; 1j 久 J1 构 成 的 mw x (nm) 矩阵 , 由 (3.14.8) 求 出 
r(xnw), 并 由 (3.14.9) 和 (3.,14.19) 求 出 4 全 和 ,从 而 得 到 搜索 方向 da， 

(3) 若 中 E 年 委 e, 则 停止 计算 , 得 到 点 x 9; 否 则 , 转 (4)， 

(4) 由 (3.14.13) 求 tea, 从 区 出 发 ， 沼 @05 搜 索 ， 

min (十 dt ), 
s.t, 0<i 去 t 
得 到 最 优 解 1， 加 
(5) 念 全 + = 十 Et 念 天 = 大 十 1, 转 (2). 
例 3.20 用 Wolfe 婚约 宰 庆 法 求解 下 列 问题 
min 2rit+2z2, 
s.t. 工 1 Fr2+ xT3 =2, 
-2T1+x2+ zx4=1, 
了 2320， j=1,2,3,4. 
解 ” 取 初始 可 行 点 x 如 = (1,3,4,0)7, 在 * 处 的 梯度 


半 工 1 
2x2 
VA(x) = ol 
心 
第 一 次 达 代 1= 12,3|， 

VCxtD)= (04;6,0,0), 
Bp 二 "| * NN 二 中 = 人 
区 和 4 x4 ‘OF. 


相应 地 , 把 约束 方程 的 系数 矩阵 4 分 解 成 B 科 NN, 有 


oo 
HI 


sp- [|-[- 
ds 6 


-|e)- -ds -ll 


由 此 得 到 搜索 方向 d=(—-16, -38, 一 22,6)7. 
, 1 3 _4\_1 
步 长 上 限 tee min| -16" -38， 库 )= 吝 
从 x 中 出 发 , 福 dD 搜索 ; 
1 -16 1-—16r 
Da 3 | -38| _ 13 一 38t | 
4 -22 4 一 22t 
用 6 6 
flx Drid =2(1 -16t)7+ (3 -381)7. 
求解 问题 min 2(1— 161) + (3— 381), 
po. 0<t<je， 
,52 3)7 
得 到 1 = 区 -| 0， 六 133] ， 
第 二 次 夺 代 了 = |2,31， 
wt wm)=|0, 坊 oj 
x 一 4? 和 


后 
Ty 
中 
人 
B 六 
人 tm . 
2 
ll 
-om mn 


| 


ba 
< 
由 
一 一 一 一 
BB 
po 
一 一 一 


4 
、 5 2 
Win _3 _3 入 i 8 8 \,_1 
搜索 方向 4 (0, 4 74: 季 + Fmax — TNITY 5 5 六 
4 4 
0 
5_3. 
8 4 ， 
x+taG=|31 5 .f(x 0 +) |- 
8 4t ® 
3 .5 
8 4! 


求解 一 维 搜索 问题 


加 


a < Ey PE =r te 


1 


固有 如 加 用 加 加 罗氏 四国 到 加 


8 14 
s.t 0<teli. 
得 到 fz= 方 ,x 的 =x 中 +t2d 人 2=(0,0,2,1)T， 
第 三 次 选 代 


Wx) = (00,.0,0) ,已 达到 最 优 解 .如 果 仍 用 醒 约 梯度 法 计算 ,那么 Js= 13,41， 
-a 
*B 闻 1 "a 区 0 " 


1 9 _， 0 | 1 -1 
B = :BB = :N= . 
0 1 一 之 1 


eo (lo il- 相国 = 


和 因此, ad) = {0,0,0,0)7 ,根据 定理 3.47, 点 xG = (0,0,2,1)T 是 K-T 下 点 .由 于 本 例 基 同 规 
划 , 因此 x( 是 全 局 最 优 解 .这 个 结果 在 计算 之 前 就 很 容易 观察 得 到 . 


3.14.2 广 么 婚约 梯度 法 


申 约 梯度 


Abadie 和 Carpentier 把 Wolfe 既 约 梯度 法 推广 到 具有 非 线 性 约束 的 情形 , 给 出 广义 既 
约 梯 谋 法 (generalized reduced gradient method), 简称 为 GRG 算法 . 


现在 考虑 非 线 性 规划 问题 
min f(x), 
st, h(x)=0, jh (3.14.21) 
lx. 


其 中 , 六 Ai 人 =1…，z) 是 连续 可 微 函 数 ,xE En" ,ms 魏 a,T 和 2 都 是 x 维 列 向 量 : 
il Hl 
: . = | :|. 
tn tn 


hlx)=(h (x), , hm (rT), 


[= 


为 书写 方便 , 令 


这 样 , {3.14.21) 写 成 


min ft{x), 
号 wa | ‘3.14.22) 
Ir 


类 似 于 RG 算法 ,把 变量 区 分 为 基 变 量 和 非 基 变 基 , 它 们 组 成 的 向 量 分 别 用 xg 和 xw 表 
示 , 相 应 地 ,把 上 (x) 的 Jacobian 矩阵 


3hi oh 0h 


9x1 Ox Ax 
9h2 2hs .. ahy 
34 |ax 3 3x, | ， (3.14.23) 
ax ， 
Bh hu .. han 
dx1 Oxy dxn 
分 解 成 
3h _ 9k 2 
39x = dx x) (3.14.24) 


这 里 假定 变量 重新 标号 , 使 前 ;mw 个 分 量 是 基 变 重 ， 并 假设 2 性 非 奇异 这 样 , xs 可 用 xn 表 
《至 少 可 以 这 样 想 像 ), 从 而 把 目标 函数 化 成 (或 想像 成) 只 是 ， xn 的 函数 , 即 


f(xa(xN), XN) = F(XrN). 
下 面 推 导 了 的 婚约 梯度 
r(xn)= VE(xN) (3.14.25) 
的 表达 式 . 
由 于 基 变 量 与 非 基 变 量 之 间 的 关系 由 隆 式 确定 ,所 以 试图 解 出 基 蛮 量 , 再 代入 目标 孙 
数 ,使 胃 标 函数 只 舍 非 基 变 量 , 在 实际 应 用 中 ,一 般 并 非 可 行 .因此 ,采用 微分 法 求 广义 的 婚 
约 梯度 .目标 晓 数 的 微分 


df={V, f) dra+ (Vv f) dry. (3.14.26) 

其 中 ， 
EE 一 3 ? (3.14.27) 
oe | (3.14.28) 


dxa = (dx1, "+, dz ), 
dxy = (dz + "yy dr}. 


为 用 dxw 表示 dxa, 把 约束 微分 , 则 有 


oh 曲 岂 
dp = 和光 dz 十 二 3 dz, =0 


ahs 
dhz = 了 2d +dr, =0, 
? TI Ta, (3,14.29) 
Ej ah 
dh = Be dit 5 dra =0. 
考虑 到 (3.14.24), 则 (3.14.29), 即 
ah 可 
Dxp dB + DrvdxN 一 人 (3.14.30) 


ah 
由 于 3 可逆, 有 
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dx = 一 axg 3xwdxw (3.14.31) 

把 dxs 代入 (3.14.26), 则 
. DR “1 9 工 TT 
af=[3 -改革 )】 站 | mw 站 um 

由 此 得 到 既 约 梯度 

-Af 

Td (3.14.32) 
aR) 71ah 工 .14. 

=v/-[( 妆 | 过] wf 

其 中 , 所 用 记号 为 


A 
dxn qzr+i dzn 
这 样 ,给 定 一 点 x 中, 就 能 由 (3.14. 32) 求 出 既 约 梯度 ,进而 可 以 研究 怎样 确定 搜索 方向 
问题 ,现在 ,定义 4 侣 ,使 它 的 分 量 满 足 : 
0 当 x$ = InEr(xH)>0 或 当 x = uv 有 r(xN’) <0, 


一 r(x 站 ?)， 其 他 . 


了 他) = 
(3.14.33) 
其 中 ,4 好 是 了 他) 的 第 } 个 分 量 , > 类 是 zx 多 的 第 j 个 分 量 ， fw 和 un 分别 是 非 基本 变 基 xn 的 
下 界 和 上 界 . . 
由 于 h(x) =0 是 非 线 性 方程 组 ,不 能 像 线 性 约束 那样 求 出 ad 轨 ? 的 表达 式 .为 从 x 出 
发 求 出 使 目标 函数 值 下 降 的 可 行 点 ,在 定义 4 秆 ' 之 后 , 取 适 当 的 步 长 :, 令 


XN = 人 + 坦 灶 )， 


且 使 INSSXNEUN. 
再 求解 非 线 性 方程 组 
h(y, Xn)=0, {3.14.34) 
得 到 y. 若 满足 
fy, x < xx), (3.14.35) 
并 且 
IBEY Sp, (3.14.36) 


则 得 到 新 的 可 行 点 (3, x 仙 "); 攻 3 不 满足 (3,14.35) 和 {3.14.36), 则 减少 步 长 1, 重复 以 上 
讨 程 . 

广义 婚约 梯 度 法 的 算法 步 双 如 下 ， 

(1) 给 定 初始 可 行 点 x 中 ,人 允许 误差 si ez >0, 正 整数 J, 令 大 =1， 

(2) 将 x 约 分 成 基 变 量 和 非 基 变 量 :(z 全 ,zx 入 ,由 (3.14,32) 计 算 既 芍 梯 度 (xm), 由 
{3.14.33) 求 得 方向 4 好) . 

{3) 著 ‖ 4 个 人 <et, 则 停 赴 计算 ,得 到 x 中; 理 则 ,进行 (4)， 

(4) 取 上 >0, 今 


2 =x 人 + 雪 和 他)， 


车 INKN A UN: 则 进行 ($5); 和 否则 ， 以 0.5t 代替 +t， 再 求 kN, 直至 满足 vy 入 KN HN: 进行 
C5), 
(5) 求解 非 线性 方程 组 (3.14.34). 可 用 牛 频 法 求解 ， 
令 YI = 人 ,=1 ,进行 以 下 步骤 . 
外 令 
p09 yD | Sn) - 


1 
dQ) 
Fp h(iy ,XN), 


车 yO， X) 攻 fx tpSydT Dwp; 并 且 有 (OyG+D ,xy) 上 之 82, 则 转 (6); 否 则 转 
(2). 
加 若 j= 了 J 了, 则 以 0.5z 代 兰 1, 令 
tn = x + dt, 
yD = 7), 
令 j 了 =1, 返 回 (1); 否 则 令 }=j+1, 运 回 (1). 
(6) 令 = (yO0TD x), 令 天 = 请 +1, 返 同 (2)， 


了 和 让 可 用 | 和 | 近似 取代 
Ea | 

Oxs 

由 于 前 者 在 求 既 约 梯度 时 已 经 做 了 计算 , 并 不 增加 新 外 的 工作 量 ， 

蜂 约 梯度 法 是 目前 求解 非 线性 规划 问题 的 最 有 效 的 方法 之 一 .这 种 方法 通过 消去 某 此 
变量 在 隆 维 空间 中 运算 , 能够 较 锯 确定 最 优 解 , 可 用 来 求解 大 型 问 是 ， 


3.15 非 线性 规划 程序 求解 


3.15.1 用 Matlab 解 一 元 函数 的 无 约 来 优化 问题 


设 一 元 茵 数 无 约束 估 化 问题 为 
min Az), 
IT] 信和 TY. 

常用 格式 如 下 : 

{1) x= fminbnd(fun, xl wo)s 

(2) x= fminbnd(fun, xi, xz, options) ; 

(3) [x, fval} = fmminbnd(.…); 

(4) {x, fval, exitflag] = fminbnd(.…); 

(5) {x, fval, exitflag, output | = fminbnd(-). 
其 中 , (3), (4), (5) 的 等 式 右边 可 选用 (1) 或 (2) 的 等 式 右边 ， 

菌 数 fminbnd 的 算法 基于 0.618 法 和 二 次 插值 法 , 它 要 求 旨 标 函 数 必须 是 连续 画 数 , 并 
可 能 只 给 出 局 部 最 优 甫 ， 


例 3,21 对 边 长 为 3m 的 正方 形 铁 极 ,在 4 个 角 剪 去 相等 的 正方 形 以 制 成 方形 无 盖 水 
樟 , 问 架 何 前 法 使 水 檀 的 容积 最 大 ? 
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解 ” 设 前 去 的 正方 形 边 长 为 z, 则 水 糖 的 容积 为 {3 -2x )?x, 建立 无 约束 优化 模型 为 
min y= —(3-2r), 
0< zr 人 1.5, 
先 编写 M 文件 tunl.m 如 下 : 
fuction f= funl (x) 
f= — (3~2xx) 4x 
程序 : 
[x, fyal ] = fminbnd( fuml 0, 1.5); 
XMmax = x 


fmax= — fval 


xmax=0.5000, frmax= 2.0000. 
妈 剪 掉 的 正方 形 的 边 长 为 0,5m 村 水 梭 的 容积 最 大 ,最 大 容积 为 2m’. 


3.15.2 用 Matlab 解 杀 元 函数 的 无 约束 优 华 问题 


设 多 元 函数 无 约束 优化 问题 标准 形 为 
min 兴工 )， 

命令 格式 为 . 

(C1) x= fminunc(fun, x0) 或 x= fminsearch(fun, x0); 

(2) x= fminunc(fun, x0, options) 或 x= fminsearch(fun, x0, options); 

(3) [x, fvall = fminunc(*…} 或 [x, fyal] = fminsearch(); 

(4) [x, fval, exitflag] = fminunel …) 或 [x, fval, exitflag] = fminsearch( …)3 

{5) [x, fval, exitflag, output] = fmainunc( …) 或 [x, fwal exitflag, output] = 
fminsearch{ *… }. 

说 明 .; fminsearch 是 用 单纯 形 法 寻 优 .而 对 于 fminune 的 算法 ， 

(1) fminune 为 无 约 东 优化 提供 了 大 型 优化 和 中 型 优化 算法 ,由 options 中 的 参数 
LargeScale 控制 ; 

LargeScale = on (默认 值 ), 使 用 大 型 算法 ; 

LargeScale = off (默认 秆 ), 使 用 中 型 算法 . 

《2) fminunc 为 中 型 优化 算法 的 搜索 方向 握 供 了 4 种 算法 , 由 options 中 的 参数 
HessUpdate 控 制 ; 

HessUpdare= “bfgs'( 上 默认 值 ), 拟 牛 幢 法 的 BFGS 公式 ; 

HessUpdate= "dtp , 拟 牛 顿 法 的 DFP 公式 ; 

HessUpdate = “steepdesc', 最 速 下 降 法 . 

(3}fminune 为 中 型 虎 化 算法 的 步 长 一 维 搜索 提供 了 十 种 算法 , 由 options 中 参数 
LineSearchType 控 制 ; 

LineSearchType = "quadeubic ( 缺 省 值 ), 洽 合 的 二 次 和 三 次 多 项 式 播 值 ; 

LineSearchType = “eubicpoly ,三 次 和 多 项 式 播 值 . 

例 3.22 产 情 量 的 最 佳 安排 ” 基 厂 生产 一 种 产品 有 甲 、 忆 两 个 牌号 ,讨论 在 产销 平衡 
的 情况 下 如 何 确定 各 自 的 产量 ,使 总 利润 最 大 .所 谓 产销 平衡 指 工 广 的 产量 等 于 市 场 上 的 销 


行 号 说 明 

z(x1, xz2) 表 承 总 利润 ; 

pl 91;T1 分 别 表示 甲 的 价格 ,成 本 和 销量 ， 

P32: 92, x2 分 别 表示 乙 的 价格 、 成 本 和 销量 ; 

ay bis hes ci(i,j =1,2) 是 待定 系数 . 

基本 假设 

(1) 价格 与 销量 成 线性 关系 利 淘 婚 取决 于 销量 和 价格 , 又 依赖 于 产量 和 成 本 .按照 市 场 
规律 , 甲 的 价格 p, 会 网 其 销量 xz, 的 增长 而 降低 ,同时 乙 的 销量 x; 的 增长 也 会 使 甲 的 价格 
稍微 下 降 , 可 以 简单 地 假设 价格 与 销量 成 线性 关系 , 即 

六 二 上 一 AI 一 Al2T3， 上 1 an om o>at, 

同 理 ja 一 ba 一 aa2t71 一 Q222， b2r a dan>0 H ea22>>4a2l. 

(2) 成 本 与 产量 成 负 指数 关系 , 甲 的 成 本 随 其 产量 的 增长 而 降低 , 旦 有 一 个 渐进 值 , 可 
以 假设 为 负 指 数 关系 , 即 


如 一 rie Ai， 六 六 1 C1 >0， 


局 理 g2 = rae M72, rod2y c2>0, 
模型 的 建立 
总 利润 为 SI1: 工 23) = pi 一 91) 工 1 二 人力 2 一 q92) x2, 
若 根据 大 晶 的 统计 数据 , 求 出 系数 


bi= 100, ail=1az=0.1， 
by=280, a =0.2, azs =2, 
ri=30,41=0.015, rt 三 20， 
ry =100,42=0.02, c= 30, 
则 向 题 转化 为 无 约束 优化 问题 , 求 甲 , 乙 两 个 牌号 的 产量 xi, xz, 使 总 利润 = 最 大 . 
为 简化 模 理 , 先 忽略 成 本 ,并 令 ajs=0,a=0, 问题 转化 为 求 
z={b1—aur)rt tb ar2) 2 
的 极 值 ,把 (50, 70) 作 为 原 问题 的 初始 值 . 
模型 求解 
编写 M- 文 件 fun.m: 
Function {= fun2{x)} 
yl= (C100—x(1) —0.1*#x(2)) ~ (30#* exp( —0.015*x(1)) +20)) * x(1); 
y2= (C280 —0.2xxC1) —2xx(2)) — 100 exp( —0.,02#x(2)) + 30)) * x(2); 
{f= -yl— y2:; 
主 程序 ， 
x0=[50,70]; x= fminunc( fun?’, x0), z= fun(x) 
运算 结果 : 
x=23.9025,62.4977, z= 6.4135e+ 003, 
好 甲 的 产量 为 23.9025, 乙 的 产量 为 62.4977, 最 大 利润 为 6413.5， 


3.15.3 用 Matlab 解约 束 优 化 问题 


一 般 非 线性 规划 标准 形 为 : 
min Fx) 
8.t. AxEb, 
Aeq x = beg, 
GUx)EO, 
Cegtx}=0, 
VLBExXSE VUB. 
其 中 ,x 为 n 维 向 量 , G(x) 与 Ceg(x) 均 为 非 线 性 函数 组 成 的 向 最 ， 
用 Matlab 求解 上 述 问题 , 基本 步 台 为 : 
(1) 首先 建立 M 文件 fun.m, 定 义 目 标 函 数 f(x); 
function {= fun3(x); 
f=f(x)s 
若 约 革 条 件 中 有 非 线性 的 东 :GUxJs0 或 Ceqtx) =0, 则 建立 M 文件 nonleon.m. 

《2) 定义 销 数 G(x) 与 Ceq(x): 

function[ G, Ceq} = nonleon(x) 

应 三 wr 

Ceq=… 

(3) 建立 主 程序 , 非 线 性 规划 求解 的 函数 是 fmincon, 命令 的 基本 格式 如 下 : 

OD x= fmineon(fun, x0, A,b); 

DD x = fmincon(fun, x0, A, b, Aeq, Beq); 

OD x= fmincon(fun, x0, A, b, Aeq, Beg, YLB, VUB); 

{x=fmincon(fun, x0, A,b, Aeq, Beqa, VLEB, VUB, nonlcon); 

DD x= fmincont fun, x0, A, b, Aeq, Beq, VLB, VUB, nonlcon, options) ; 

® [x, fval] = fmincon( * ); 

[x, fval, exitflag } = fmineon( … ); 

® [x, fval, exitflag, output ] = fmincont* }. 

说 明 : . 

全 ftmincon 函数 握 供 了 大 型 优化 算法 和 中 型 优化 算法 .默认 时 , 若 在 fun 函数 中 提供 了 
梯度 ,并 且 只 有 上 下 界 存在 或 只 有 等 式 约束 , fmineon 函数 选择 大 型 算法 , 当 既 有 等 式 约束 又 
有 梯度 约束 时 , 使 用 中 型 算法 . 

加 fmincon 函数 的 中 型 短 法 使 用 的 是 序列 二 次 规划 法 .在 每 一 步 迭 代 中 求解 二 次 规划 
子 问题 ,并 用 BFGS 法 更 新 Hessian 矩阵 ， 

鲜 fmineon 函数 可 能 会 给 出局 部 最 优 解 ,这 与 初 值 的 选取 有 关 ， 


例 3.23 min f= 一 1~2z2+ 信 玉生 方 z 
ST. Zr1t+ rE6, 
< 十 中 SS 


证 下 rf. 


解 建立 M- 文 件 fun3.m: 

function f= fun3(x); 

f= ~ xt1) ~ 2% xt2) + (1/2) # xt1)2+ (1/2) # x(2)2; 
建立 主 程序 ， 

x0=[1;1]; 

A=[23;14]; b=[6;5]; 

Aeq=[]ibeq=[]; 

VLB= [0:0];VUB=1]; 

[x, fvat] = fmincon( fun3, 0, A, b, Aeq, Beqg, YLB, VUB) 


运算 结果 为 : 
x=0.7647 
1.0388 
fyal= — 2.0294 
情 3.24 
min fx}= -2271— 72, 


st, gi(x)=25r1+ zi— 25<0, 
gz(¥)= ri+ri-7 S20, 
0 和 ri， 0 和 7x; 之 10， 
先 建 立 M- 文 件 fun.m 定义 目标 函数 ， 
function f= fun(x); 
f= —2%x(1)— x{(2); 
再 建立 M 文件 myconl.m 定义 非 线 性 约束 ， 
function[g, Ceq] = myconl (x) 
g= [x(1)"2+ x(2)2 25;x(1)2 ~ x(2)-2—7]); 
主 程序 为 : 
x =[3;2.5]; 
VLB=[0 0];VUB= [5 101; 
[x, fval, exitflag, output] = fmincon( fun’, x0,[],[},[],{], YLB, VUB, myconl’) 
运算 结果 为 : 
x 2 
4.0000 
3,0000 
fval= — 11.0000 
exitflag = 1 
output = 
iterations;4 
funcCount:17 
stepsize: 1 
algorithm: [1x44 char] 
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firstorderopt:[ ] 


P| 


cgiterations:[ } 


习 是 


1. 证 明 f(z)= 六 xzT4x+ 5Tx 为 严格 凸 函数 的 充 要 条 件 是 Hessian 矩阵 4 正定 ， 
2. 考虑 非 线性 规划 问题 ， 
min 《ti 一 3)2 十 《zz 2}, 
s.t. 2 + x25, 
T1272=4, 


rl rz2220). 


-te 本 上 区 下 中 提 二 下 
加 上 加 到 上 名 国 轧 留 闻 图 疯 


检验 x= (2,1)7 是 否 为 K-T 点 . 
3, 考 虚 下 列 非 线 性 规划 问题 ， 


和 


隅 min (Crt-1)+z3), 
i | 2 
gt, 一 了 十 自主 = 站 
qe | 讨论 8 到 何 值 时 ,x = (0, 0)7 是 局 部 最 优 解 了 
: 4. 给 定 非 线 性 规划 问题 : 
四 | max blx, 
IE FE", 


gS.t. 和 Ts 
其 中 ,6 了 0. 证 明 向 址 x= /上 自满 足 最 优 性 的 充分 条 件 ， 


min 3754 一 4 ~ 12r2, 
(1) 用 和 牛顿 法 谈 代 3 次 , 取 初 始点 x 人 中 = 一 1.2; . 
(2) 用 制 线 法 选 代 3 次 , 取 初 始点 zx 加 = 一 1.2, x 人 = -0,.8j 
(3) 用 执 物 线 法 选 代 3 次 , 取 初 始点 r0 = -1.2,xt 们 = 一 1.1,x0)= -0.8. 


6, 给 定 阔 数 
Fr)= (6+ rt ra) + 2- 3r1 -Br — xira), 
求 在 点 | 4 
处 的 牛顿 方向 和 虞 过 下 降 方 向 . 


7. 用 最 违 下 降 法 求解 下 列 问题 : 
min 3 一 2ztzz 十 42 二 了 一 372， 
取 初 始点 xG = (1 1)7, 迁 伐 丙 次 ， 
8. 设 有 医 数 


jx)= 二 sxTAx+ BbTx+e, 


其 中 ,4 为 对 称 正 定 矩阵 . 又 设 x07( 兴 Xx), 可 宕 示 为 


xD 二 并 + jp， 


食 中 ,是 Fx) 的 极 小 点 ,p 是 4 的 属于 特征 值 1 的 站 征 向 量 ,证 明 ; 
(1) Wry= pAps 
(2) 如 果 从 x 人 出 发 , 沿 最 速 下 降 方向 作 精 确 的 一 维 搜 索 , 则 一 步 达 到 极 小 点 
9. 用 共 辆 梯度 法 求解 问题 
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(1) 

取 初 始点 x 人 = (0,0)7 
(2) 

了 到 初始 点 x 吕 = (2, 一 2)T. 
10. 设 有 非 线 性 规划 向 题 


min x? + 2zx2 一 231t2 十 了 T2 十 之 ， 


min 2x3+2xir2+5r$, 


min pi 


a:t, Xb, 
其 中 ,4 为 sn 阶 对 称 正定 矩阵 . 设 x 是 问题 的 最 优 解 .证 明 * 与 -5 关于 4 共 思 . 
11. 用 DFP 方法 求 凿 问题 


min 了 十 全， 


<=| 中 ,= ]. 
-1 1 1 


min 4Cx1-—5)?+ (ra -6):, 


8 10 8 
-全 sm 加， 下 
9 11 11 


束 因 子 == 2， 7=1, 有 = 方 ,要求 送 代 4 次 . 
13, 试用 障碍 函数 法 (内 点 法 ) 求 解 


取 初 始点 及 初始 矩阵 为 


这. 用 单纯 形 法 解 非 线性 问题 


取 初 始 单纯 形 项 点 


min f(x)=5r1+ x#, 
5.t. Tl, Tr2 守 0. 
14. 试用 混合 函数 法 求解 
min fir) = xt+ 3, 
3.t, 和 1 十 2 二 下 
(zl 一 4)2+ rte2. 
15, 用 Zoutendijk 方法 求解 问题 
(1) min it+4zi- 34z1 一 32z2， 
8.t. 271+ TiS 
X22 
zl: T2220. 
取 初 始点 x = (1,2)7. 
(2) min x?+27z2+ rt rrr 2xrst 于 2 二 一 和 Hr, 
as.t. zl 十 273 + x4, 
工 1， 2， 工 3 22 站 ， 
到 初始 点 * 全 = (0,.0,0)T， 
16, 用 梯度 投影 求解 问题 
{1) min (4-— xz2)(zx1—3), 
-1 二 之 13， 
I1 2 
2 


TI X10, 


ER es El er Fe Ke 
i Bd 7 ~ 


取 初 始点 x00 = {1,2)T. 


[27 min 2 二 十 2xz 十 5， 
s.T， x1- 2r220, 
Ti T2200. 
取 初 始点 x 中 = (2 0)7. 


(3) min zi+xir2t+2r2 -6r 


5s.t. zi+ xz2t+I3=2, 
XI 2X3 六 一 3， 
zl 了 工 2， TIO0. 
取 初 始点 zf = 《1,0,1)T. 
17, 用 既 约 梯度 法 求解 问题 
min 2zx1+ 2z2 — 2r172 7 471 0672+ 
gt. I x2t xy 一 了， 
X11+ Sr2+ Ta= 9, 
Tj 了 二 于， 
取 初 始点 x 人 Y= 《1,0,1,4) 
18. 考虑 下 列 问 题 ， 
mn f(x), 
gt. Blx}2D, i=1,, nm, 
hr)=0, 了 一 
设 宇 是 可 行 点 ,了 = ijgit%)=0| .证 明 坏 为 K-T 点 的 充 要 条 御 是 下 列 问 题 的 目标 洲 数 的 最 优 值 为 等 : 
min Vr) Td. 
st. Wlr)rd0, i=1€ET, 
VA Cx} A=0, 了 二 1， 
一 1 委 击 委 1， j= 1 ,nn. 


一 2 工 3 一 1 2 


连 数 规划 (Integer Programming， 简 记 为 记 ) 是 一 类 要 求 决 第 变量 取 整 数值 的 数学 规 
划 ， 车 线性 规划 中 的 变 其 要求 取 韩 孝 情 时 ， 则 称 其 为 整数 线性 规划 ; 若非 线性 规划 中 的 变 
时 要 求 取 整 数 情 时 ， 刚 称 其 为 整数 非 线 性 规划 ， 

在 班 实生 活 中 ,许多 约束 优化 问题 往往 要 求 最 优 解 是 整数 解 ， 例 如 第 2 章 所 讲 到 的 合 
理 下 料 间 题 ,就 要 求 下 料 的 根 数 是 整数 . 再 如 人员 的 指派 问题 、 大 型 设备 运输 及 使 用 、 航 
空港 的 管制 问题 等 ， 都 需要 求 出 整数 的 最 优 解 . 


4.1 整数 规划 的 数学 模型 


例 4.1 某 航 运 公 司 有 一 般 载 重量 为 s 的 货船 ,有 种 货物 可 殿 载运 . 已 知 第 ; 种 货 
物 每 件 质 量 为 6， 装载 收费 为 c;. 试问 怎样 装载 ， 首 使 航运 公司 的 收益 最 大 ? 试 建立 数学 
模型 ， 

解 令 zi 表示 该 船 所 装载 的 第 j 种 货物 的 件数 ， 显 然 x; 应 是 非 负 整数 ,于 是 可 得 其 
数学 模型 为 


max 用 = Dy ein, 


j= 
S .十 人 Ti Sa, 
本 中 了 


Zi 为 非 负 整 数 ， = 1, 2,…,n. 

在 现实 生活 中 ,船舶 装载 问题 不 像 例 4.1 这 样 简单 . 相对 而 言 ， 质 量 约 东 的 问题 较 易 
处 理 ， 而 货 仓 容积 的 约束 问题 要 难处 理 一 些 ， 除了 要 考虑 货舱 容积 及 各 种 货物 每 件 体 积 的 
数量 关系 , 还 要 考虑 其 形状 及 堆放 方式 ,类似 一 个 三 维 的 合理 下 料 问 题 ,其 求解 的 难度 是 
很 大 的 ， 

在 例 4.1 中 所 得 到 的 模型 ， 要 求 所 有 的 变量 都 是 整数 ， 称 这 类 模型 为 纯 整 数 的 线性 规 
划 占 题 ， 其 一 般 形 式 为 

max 2Z=¢x, 
Ss.1. Ax =b, 
x 为 整数 向 量 . 


另 一 方面 ,如果 只 对 部 分 变量 有 整数 要 求 ， 则 称 之 为 混合 整数 线性 规划 ， 其 模型 的 一 
般 形 式 为 


Imax ZZ=cxXi+ CoxX2, 
St， BX1 十 成 2x 三 办， 


x*1 汪 人 D， TX 为 非 负 整数 - 


图 是 轩 国 国画 


上 


pi Hl vt Er er er pe Fr :EL i 
EE 让 


其 中 ， C1, 52; X1, Xz 鬼 为 辣 量 ， ， 

俏 4.2 某 市 有 5 项 工程 可 考虑 立项 施工 , 每 项 工程 的 建设 时 间 均 为 3 年 ,每 年 所 需 
的 投资 额 及 建成 后 收益 见 宕 4.1. 根据 市 政 规 划 , 柳 求 1, 2 两 项 中 至 少 要 建设 1 项 , 在 后 3 
项 中 最 多 建设 2 项 . 问 应 上 哪些 项 目 ， 才 使 总 收益 最 大 ? 试 建立 数学 模型 . 


球 4.1 


解 ”本 问题 是 要 决定 某 项 工程 是 否 立项 建设 ， 可 用 一 个 二 值 变量 的 两 种 不 同 取 值 来 代 
表 建 设 及 不 建设 两 种 不 同 的 状态 ， 令 
-化 当月 仪 当 工 程 ; 动工 建设 ， 
” 【lo0， 当 且 仅 当 工程 ; 不 动工 建设 ， 
设 工程 ; 的 利 许 值 为 5 ， 则 由 式 4.1， 有 
-| 中 当 且 色 当 工程 1 动工 建设 ， 
” 10， 当 且 仅 当 工程 1 不 动工 建设 . 
注意 到 蛮 划 zi 的 定义 ,可 推 知 


j=1,2,3,4,5. 


z1=207x1, 
类 似 可 推 知 
£2= 2x2, L325rs, a= 40z4, 2s= 1Brs. 
约束 条 件 有 三 类 ; 第 一 类 是 每 年 可 动用 的 资金 数额 的 约束 ; 第 二 类 是 由 于 市 政 规 划 所 
限定 的 施工 项 目 与 数量 的 约束 ; 第 三 类 是 变量 特性 的 约束 , 于 是 本 问题 的 数学 模型 如 下 ， 
目标 函数 ; 


max 荆 二 2071 二 3272 十 2573 十 407rd 十 18 二 5， 


年 度 资金 约束 : 
3x1it 4r2t+6xz3+ Tx4at+ 7515， 
YI 十 了 Yz 十 4z3 十 1074 二 Sr5s20， 
Brit+1072+3r3t+ Srat+dxrs25, 
话 工 项 由 与 数量 约束 
x1+x2 访 1， 
IT3+ x4t+ IsE2, 
变量 特性 约束 ， 


zx;=0,1, j=1,2,3,4,5. 
在 情 4.2 中 ， 一 个 显著 的 特点 是 变量 仅 取 0， 1 两 个 值 ， 称 这 种 问题 为 0-1 规划 . 


4.2 割 平面 法 


割 平面 法 (cutting plane method) 是 1963 年 由 及 .了 ,Gomory 首先 提出 的 . 从 此 以 后 ， 整 
数 规 划 逐 渐 成 为 一 个 独立 的 运筹 学 分 支 ,由 于 用 割 平面 法 解 整数 规划 问题 常常 会 遇 到 聊 伍 
很 慢 的 情况 ,所 以 完全 用 它 来 求解 整数 规划 问题 的 仍然 不 多 ,但 它 在 理论 上 基 很 重要 的 ， 
被 看 作 整 数 规划 的 核心 部 分 ， 

割 平 面 法 的 基本 原理 非常 直观 . 首先 在 欲求 解 的 整 歼 规划 间 题 中 暂 不 考虑 变 基 为 整数 
的 要 求 ,得 到 原 问题 的 松弛 问题 . 显然 ， 原 问题 的 所 有 可 行 解 全 部 包含 在 其 松弛 问题 的 可 
行 解 中 . 然后 ， 用 常规 的 办 法 求解 松弛 问题 ， 如 果 所 得 的 最 优 解 正好 满足 变量 的 整数 要 求 ， 
显然 该 松弛 问题 的 最 优 解 必 是 原 问题 的 景 优 解 ; 如 果 所 得 容 弛 问题 的 最 优 解 不 满足 整数 要 
求 ,， 则 设法 在 松弛 问题 中 加 入 一 个 约束 条 件 ， 其 作用 是 把 松弛 问题 的 可 行 域 割 去 一 卖 . 如 
果 这 个 约束 构造 得 当 ， 可 以 只 割 去 非 整 数 点 , 使 原 问题 的 全 部 可 行 解 仍 然 保 留 在 松弛 问题 
莘 下 的 可 行 域 中 , 然后 再 对 所 得 的 新 问题 求解 ， 若 所 得 最 优 解 是 符合 原 问 题 要 求 的 整数 
解 ， 则 得 到 原 问 题 的 最 优 解 ; 否则 ， 再 构造 约束 来 切割 横 弛 问题 简 下 的 可 行 域 ， 直 到 获得 
原 疝 题 的 最 优 解 . 


4.2.1 绅 整 数 线性 规划 的 情形 


设 原 问 题 是 纯 整数 线性 规划 问题 : 
min ZZ=er, 
St， 砷 革 三 由， 
x 这 0, xz 为 整数 向 量 . 
其 松 刘 问 丁 为 
min ZZ=0x, 
s.t. Axr=b, 
x 0, 


用 单纯 形 法 对 其 松弛 问题 求解 ,得 到 最 优 解 单纯 形 表 , 设 在 最 优 表 中 ， 基 变量 为 zl, ra， 
… Xm 非 基 变 量 为 x 41, zm +2,…, Xr， 且 最 优 和解 中 ， 基 变量 xz, 的 取 值 8, 是 分 数 ,不满 
足 整 数 解 的 要 求 . 由 单纯 形 表 的 和 迭代 过 程 可 知 ,单纯 形 表 第 i 行 的 数据 代表 的 方程 为 


Kit 人 ai = bi (4.2.1) 
j=um+l 
把 5' 发 a 分 别 分 解 为 两 部 分 : 
bi = Ni+t 大， 
. , (4.2.2) 
和 袜 富 = Ne + fo, 3 = nt 十 1, nm 二 2 


其 中 ， Nb Ni 是 整数 ， 0< 方志 1， 0< 方 坟 1， jm+l, m+2, ,nn. 
将 上 述 分 解 结果 代 和 人 (4.2.1)， 经 过 称 项 整理 ， 可 得 


fi 2 for = zi Nan (4.2.3) 


显然 ， 当 变量 全 部 是 整数 时 ，(4.2.3) 的 右 端 的 计算 结果 必 是 整数 ， 因 而 (4.2.3) 的 左 端 也 
必然 等 二 整数， 


罚 圆 国 如 医 园 轩 茹 国 区 加 外 宜昌 加 型 有 网 加 总 丢人 太 售 世 加 


fii- Y furi 人 < fi<1. {4.2.4} 
由 于 {4,2.3) 左 端 是 整数 ， 由 【4.2.4)， 可 知 应 是 小 于 1 的 整数 ， 有 
i- fir 0. - {4.2.5) 
由 推导 过 程 可 知 ，(4.2.5) 是 所 有 变量 为 整数 的 必要 条 件 ， 称 之 为 Gomory 约束 . 显然 ， 把 
Gomory 约 东 加 入 到 松弛 问题 的 约 东 条件 中 之 后 ,松弛 问题 的 如 行 域 就 破 割 去 一 块 , 由 于 
原 问 题 必 须 满足 Gomory 约束 ， 因 而 被 割 去 的 部 分 ( 即 不 满足 Gomory 约束 的 点 } 只 能 是 非 
整 歼 点 . 


在 实际 计算 中 ， 为 了 尽快 得 到 图 数 解 ， 霜 要 将 (4.2.5) 的 两 边 同 霓 以 f 的 分 母 ， 并 引 
人 非 负 松弛 变量 y 将 (4.2.5) 化 为 (4.2.6)， 有 


~ frity = fi {4.2.6) 
其 中 ， 广 是 整数 ，y 之 0 
然后 把 (4.2.6) 加 入 到 松弛 问题 的 最 做 单 纯 形 表 中 ， 利 用 对 个 单线 形 法 进行 求解 . 车 
得 到 整数 最 优 逢 ,计算 停 上 ; 否则 ， 应 根据 新 的 最 优 单纯 形 表 再 构 壮 Gomory 约束 ,求解 ， 
直至 终结 ， 
便 4.3 试用 Gomory 割 平面 法 求解 
mn 2Z=~- 11- 1, 
st， -Xl1+ ZzxsEl, 
3T1+ X24, 
X12 让 0，xzi; 3X2 是 整数 . 
解 ”将 原 癌 题 的 松弛 问题 标准 化 ， 得 
min 2Z= -1r1- x2; 
St. —z1I+ r+ xs =1, 
3T1+ XTy+ 了 4 二 44， 
Ti 工 2 工 3 L420. 


用 单纯 形 法 求解 此 办 弛 问题 ， 所 得 最 优 单 纯 形 表 见 表 4.2， 显 然 , 松弛 问题 的 最 优 解 不 是 
整数 解 ， 


从 表 4.2 中 任 取 一 行 , 现 选取 第 一 行 , 可 得 方程 : 


1 ,1 _3 
ZI 一 本 3Z3+ T= 
将 备 个 系数 分 解 为 正 真 分 数 与 理 煞 之 和 ， 有 
工 - 1 3 1.. 1 3 .3 
本 00 


所 得 Gomory 约束 为 

3 

和 -|[ 王 zs+ 寺 zj<o， 
邑 一 37xz3 一 工 4 妇 一 3. 


引入 非 负 松弛 变量 x;, 得 
3x3 XT4t+ Xs= 3, 
特此 约束 加 入 到 表 4.2 中 , 得 到 表 4,3. 用 对 侦 单 纯 形 法 对 表 4.3 进行 迁 代 求解 ， 可 得 
最 优 单纯 形 表 4.4. 由 家 4.4 可 以 看 出 ， 所 得 最 优 解 已 是 整数 解 ， 计算 停止 . 原 问 题 的 最 优 
解 及 最 优 值 为 


x¥" = (lt1,0)7， 
Z"” := 一 2， 


下 面 给 出 例 4.3 中 所 得 Gomory 约束 的 几何 解 枝 . 
Gomory 约束 为 


一 373 XIA 一 3. 
注意 到 在 松弛 向 是 标准 化 后 有 
-zit+zx2+zx3 =1, 
3r1t x2+ 了 4 二 入， 


基 
T3=1+ 区 一 全 2 
工 4 二 和 一 3x1 一 并 2， 
代入 式 ( # )，Gomory 约束 化 为 x 所 1. 

4,1 展示 了 松弛 问题 的 求解 及 加 人 Gomory 约束 后 的 最 
优 解 . 图 中 ,以 点 0，A，C, DD 为 顶点 的 四 边 形 是 松弛 问题 可 
行 域 ，C(3/4, 7/4) 是 松弛 问题 最 优 解 . 加 入 Gomory 约束 后 ， 
剩 下 可 行 城 为 以 点 0，A，B,，D 为 项 点 的 梯形 ， 最 忧 解 为 
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B(1,1), 已 得 原 问 题 的 最 优 解 . 
| 4.2.2 混合 整数 线性 规划 的 情形 

| 对 于 源 台 效 数 线性 规划 问题 ， 在 求解 松弛 问题 时 ， 设 最 优 解 为 

x"= (zr 9 x 3 Ee ,0， …,0)T= ("1, b's, , Bb»,0, 007. 

| 。 如果 原 问题 要 求 基 变 量 zx; 为 整数 ， 但 最 优 逢 中 的 6 为 非 整数 ， 可 按 如 下 方法 引入 


Gomory 割 平面 维 束 . 
设 松弛 问题 的 最 优 表 第 ; 行 的 数据 代表 方程 ， 


攻 | 
国 | 
术 国 


6'1= Ni+ fi 
at 三， 
其 中 ，N;，Nj 是 整数 , 0< <1, 0< 所 <<1. 
则 对 应 的 Gomory 约束 为 


其 中 ，xi 为 基 变 最 ，b'; 是 分 数 ， 对 5";，a 进行 分 解 , 使 
| 


| — 2 A + zarl =— ‘4.2.7) 


(4.2.7) 中 的 入 按 如 下 方式 确定 . 
(1) 当 zz 不 是 整数 变量 时 ， 有 


fi (4.2.8) 


2 - rl Er i FE Fe Re 
到 芯 国 回国 因 时 国 加 加 国 轿 加 中 因 四 昕 


(2) 当 zi 基 整 数 变量 时 ， 有 
fi i 
i fy>h 
1 万 " 7 
例 4.4 用 Gomory 割 平面 法 求解 混合 整数 规划 问题 ， 


min 2= -1x972, 


(4.2.9) 


St. 一 YI 二 3rz+T3 =6, 
Trit xz2+ x4=35, 
Xj; 之 0， 了 =1,2,3,4, xl 是 整数 ， 
解 ” 原 间 题 标准 化 后 得 到 的 松弛 问题 为 
mn ZZ= -7r1™ 97r, 
Ss.t. -XT1t3r2+ x3 一 和 
TX1+t Xx2t+ x4=35, 
TIO0, j=1,2,3,4. 
用 单纯 形 法 对 松弛 问题 求解 ， 所 得 最 优 单 纯 形 表 见 表 4.5. 可 知 在 松弛 问题 最 优 解 中 ， 
不 满足 复数 要 求 ， 应 引入 Gomory 割 平 面 约 束 . 
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表 4.5 的 第 2 行 代表 方程 


_1 ,3 9 
21 2273 2274 2? 
其 中 , 非 基 变量 z;, rd 均 不 要 求 是 整数 变量 . 令 
， 9 1 
az 一 4+2， 
由 (4.2.7)，(4.2.8)， 可 引入 Gomory 约束 : 


即 


.1 .3 .， .1 
22 3 2274 73 2， 


加 和 到 表 4.5 中 , 得 表 4.6. 
惠 4.6 


用 对 侦 单纯 形 法 迭代 , 可 得 最 优 表 4.7. 
家 4.7 


在 表 4.7 中 ， 整 数 变量 xi 的 取 值 为 4, 已 满足 要 求 ， 所 以 ， 原 问题 的 最 优 解 及 最 优 慎 
为 
x =(4, 10/3, 0, 11/3), Z* = -58. 


4.3 分 枝 估 乔 法 


分 枝 佑 界 法 (branch-and-bound method) 的 基本 原理 是 , 首先 ， 求解 原 问 题 的 松弛 问题 . 
车 得 到 符合 要 求 的 整数 解 ， 即 为 原 问 题 的 最 优 解 ,计算 停止 ; 否则 ,将 松弛 问题 的 可 行 域 
分 割 成 几 个 不 相交 的 子 集 ， 去 掉 一 部 分 不 满足 要 求 的 非 整 数 解 ， 而 原 癌 题 的 可 行 解 全 部 保 
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留 在 各 子 集 中 . 然后 ,分别 求 了 原 目标 函数 在 各 个 子 集 上 的 最 优 值 ， 并 比较 各 子 集 上 的 最 优 
解 的 自 标 函数 值 的 大 小 ,车 其 中 最 好 的 一 个 目标 值 所 对 应 的 点 正好 是 满足 要 求 的 整数 点 ， 
则 得 到 原 问 题 的 最 优 解 ， 计 算 停止 ; 否则 ,应 对 非 整 数 最 优 解 所 在 的 子 集 再 次 进行 分 解 ， 
直至 得 到 符合 条 件 的 整数 最 优 解 ， 
下 面 用 实例 来 具体 说 明 上 述 原 理 及 分 解 可 行 域 的 方法 . 
例 4.5 用 分 枝 估 界 法 求解 纯 整 数 线性 规划 问题 ; 
min = 一 371 一 了 22， 
at， 27z1+3ry 太 14， 
2z1 十 X29, 
XI 工 字 0， zx1，X2 为 整数 . 
表 去 掉 原 问题 的 整数 要 求 ， 引入 松弛 变量 zs，zs， 得 标准 化 的 松弛 问题 Po， 即 
Po: min 2Z= -37r-27r2; 
St, 271t+3xr2+ x =14, 
2xz1 二 x2at+ T4= 9, 
Xl; 2, 3, X40, 
为 使 表达 式 简 洁 ， 记 松弛 问题 Po 的 可 行 域 为 Do， 
用 单纯 形 法 对 Po 求解 ， 其 最 优 单纯 形 表 见 表 4.8. 可 知 ， 松 弛 问题 Po 的 最 优 解 x 中 
及 最 优 值 Z 中 为 


‘| 汪 (0 39 
x jE 2)* 2 4 


由 于 x 个 中 ， zi= 旺 ， 可 在 此 附近 将 Do 分 解 成 两 个 于 集 . 分 别 引 入 两 个 约束 ; zi<3 和 
Ti24, 得 两 个 子 问题 Pi, P,, 期 


子 问题 Pi. 于 问题 P;; 
min ZZ= 一 3 一 272， mn 了 = 一 37r1l 一 2x2， 
Sst. xEDo, s.t, XxEDo 
X13 Ee 
用 单纯 形 法 分 别 对 子 问题 P,，P; 求解 . 子 问题 P,，P; 的 最 优 单纯 形 表 分 别 见 表 4.9 和 
表 4.10. 
避 4.9 


工 1 工 3 着 3 TI4 31 由 
上 0 0 0 -1 4 
办 1 0 1 1 1 
0 0 1 一 汪 一 中 3 
0 心 必 2 1 | 
由 表 4.9 知 , 子 问题 Pi 的 最 优 解 x 中 及 最 优 值 Z'* 为 
x ={3, 8/3), 


ZU = -43/3= 一 14.33， 
由 表 4, 10 知 ， 子 问题 P, 的 最 优 解 x 多 及 最 优 值 Z02) 为 
x =(4,1), Z2= 一 14. 
子 问题 P; 的 最 优 解 为 整 才 解 ,符合 要 求 ， 故 P; 不 再 分 解 . 子 问 题 Pi 的 最 优 解 不 基 
整数 解 ， 且 Z4D< ZG， 表 明 Pl 中 有 可 能 存在 优 于 x 中 的 整数 可 行 解 ， 豆 应 对 Pi 再 进行 
分 解 . 分 别 关 于 xz; 引入 约 训 之 后 , 可 将 Pi 分 解 为 P:，Ps 两 个 子 问题 ， 即 


子 问题 Ps， 子 问题 P,: 
min ZZ= -3xr1-277, min ZZ=—3r~2r2, 
s.t, XxXED,, s.t. x*EDy,, 

| 所 3， X13， 

X22. Y2 空 3， 


经 过 计算 ，P，, 的 最 优 解 xG 及 最 优 值 243) 为 
x =(3,2), 2ZG) 一 一 13. 
子 问题 Pi 的 最 优 解 x( 及 最 优 值 2 中 为 
x = (5A2,3)， ZE00 = -27/2, 
由 于 x2 已 是 整数 解 ， 且 Z(3 > 2 ， 故 Ps 不 再 分 ， 


Go 
解 ; * 人 虽然 不 是 整数 解 ， 但 Z44) > 2 ， 表 了 明 Ps 中 清除 
| | 


也 不 可 能 存在 优 于 x 的 整数 解 ， 不 必 再 分 解 . 这 样 ， 
分 解 停 目 ， 原 问题 的 最 优 佣 为 
x"=x =(4,1), Fr 一 zt 一 一 14. 
图 4.2 表 明了 各 子 癌 题 P; 以 及 相应 的 最 优 解 


x 
4.4 小 枚 举 法 


际 校 举 法 是 求解 0-1 规划 常用 的 一 种 方法 , 对 于 有 = 个 变量 的 0-1 规划 问题 ， 由 于 每 
个 变量 只 取 0, 1 两 个 值 , 故 n 个 变量 所 有 可 能 的 组 合 数 有 2r 个 . 若 对 这 2 个 组 合 点 逐 点 
检查 可 行 性 ,并 算出 每 个 可 行 点 上 的 目标 函数 值 ， 再 比较 其 大 小 ,就 可 求 得 最 优 解 和 最 优 
值 ， 这 种 方法 称 为 完全 枚 举 法 (或 穷 举 法 ). 完全 校 举 法 只 适用 于 变量 个 数 较 少 的 0-1 规划 
问题 ， 当 =” 很 大 时 ， 计 算 量 相当 大 . 因此 ,应 寻找 适当 的 方法 来 减少 工作 景 ， 以 求 迅速 找 
到 最 优 解 ， 


加 
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= 
EE: 


方法 之 一 是 投 置 目标 函数 的 过 滤 值 , 其 楚 本 原理 是 : 对 于 当前 欲 检验 的 点 ， 如 果 其 目 
标 函 数值 比 已 知 的 某 个 可 行 点 的 目标 值 差 , 那么 没有 必要 检验 这 个 当前 点 是 否 为 可 行 点 . 
也 就 是 说 ， 事 先 找 到 一 个 可 行 点 ,以 其 目标 函 数 值 作为 过 滤 值 ， 对 其 他 未 检验 的 点 ， 首 先 ， 
计算 其 目标 网 数值 , 车 比 过 滤 秆 差 , 则 不 再 检验 其 可 行 性 . 车 目标 男 数 值 优 于 过 泪 值 ， 山 
进一步 检验 其 可 行 性 ,车 不 是 可 行 点 ， 则 放弃 该 点 ; 若是 可 行 点 ， 则 记 下 该 点 为 当前 最 优 
氮 ， 并 以 其 目标 函数 值 作为 新 的 过 滤 值 . 然后 , 对 其 他 未 检验 点 进行 检验 , 这 祥 ， 就 可 以 碱 
少 大 量 的 运算 ， 

方法 之 二 是 对 原 问 题 的 员 标 函数 (尤其 是 当 目 标 贰 数 是 线性 函数 时 ， 效 果 更 好 } 及 约束 
条 件 进 行 适当 的 调整 处 理 ， 指 出 眉 标 函数 值 增 大 (或 减少 ) 的 规律 ， 以 减少 工作 技 , 下 面 以 
求解 极 大 化 的 0-1 线性 规划 为 俩 说 明 处 理 的 要 本 方法 . 

(1) 将 目标 消 数 的 各 项 按 变 最 系数 递增 的 次 序 重新 排列 . 如 设 原 目标 函数 为 

max 2Z=3rit 72+2r3+8r4, 
则 改 记 为 
max Z=7r27+2r3+3r1+Bra. 
(2) 和 将 各 约 东 条件 的 变 景 按 调 米 后 的 次 序 重 新 排列 . 例如 ， 原 约束 条 件 有 两 个 ， 
St Xit2r2 -8r3t+ zs10 
271— Ya 二 Xst+3zr4=6, 
则 调 辊 为 
st, 272-Brat+ x1i+ xz4SE10, 
-Xx2t+ xz3+27r71+3xr4=6. 

{3) 将 各 约 东 编号 后 列表 ， 并 任 取 一 个 可 行 点 的 目标 值 作为 初始 过 滤 值 ， 记 为 Z*， 

(4) 考查 当前 点 , 若 其 自 标 值 不 优 于 Z"*， 则 弈 之 不 用 ; 若 优 于 Z* ， 再 检查 是 否 满 足 
所 有 的 约 东 , 若 确 为 可 行 点 ， 则 将 目标 值 作为 新 过 恋 值 ， 再 考查 下 一 个 点 ， 

由 于 每 个 点 的 所 有 分 量 都 只 有 0, 1 两 种 取 人 ， 且 目标 函数 的 变量 是 按 系 数 上 升 的 次 序 
排列 的 . 因此 ， 对 于 所 拥有 有 &( 是 某 个 小 于 ” 的 给 定 的 已 知 整数 ) 个 1 分 量 的 0-1 调 ” 维 
向 甚而 言 ， 目 标 函 数值 最 大 的 点 是 

x = (C0, 0,0,1,1,..,1)7, 
其 次 是 rE = {0,0,1,0,1,.,1}T. 
因此 ,在 检查 有 上 个 1 分 量 的 0-1 型 向 量 时 ， 应 首先 验证 xi 若 xf 是 可 行 点 ， 则 不 再 
考 虚 其 余 的 有 上 个 1 分 景 的 0-1 再 向 量 ; 若 x 不 是 可 行 点 ， 再 考虑 x 名. 鞍 x 人 ?2 也 不 是 
可 行 点 , 才 考 虚 其 余 的 上 个 1 分量 的 0-1 型 向 量 ， 
例 4.6 求解 0-1 者 整数 线性 规划 : 
max 2Z=4rit+ r+273, 
5S.t. 2T1 十 272+323 安 3， 
4I1 一 3zz+2r3 去 4， 
Ti=0,1, i=1,2,3, 
解 ”将 原 问题 的 变 若 按 自 标 函数 系数 升序 排列 , 改写 为 


max 之 二 工 ? 十 2 二 3 十 dr1， 
S,t， 2xra++373 十 271<SS， (1) 
一 3 十 2r3 十 Zi<s4. (2) 
显然 ,， (0, 0, 0) 是 一 个 可 行 点 ， 故 可 取 初 始 过 滤 值 为 2” = 0. 本 题 的 求解 过 程 见 
表 4.41. 在 表 4.11 中 , 符号 “VY” 代表 对 应 的 约束 条 件 满足 ， 而 “ x" 则 表示 约束 条 件 不 洲 
足 , 从 天 4.11 中 ,可 以 看 出 ， 本 问题 应 有 3 个 0-1 型 向 量 拥 有 1 个 1 分 量 , 即 (0,0,1)， 
(0,10) 和 {1,0,0). 由 于 (0.0, 了 1 是 可 行 点 ， 故 其 余 两 个 不 再 检验 . 而 在 具有 2 个 1 分 量 的 


0-1 型 向 量 中 ，(0,1,1) 不 是 可 行 点 ,二 而 需 检验 (1,0,1) 的 可 行 性 . 由 表 4.11 可 知 原 问题 
的 最 优 解 和 最 优 值 为 


Zi=1, zz=1, zs=0, 


训 4,11 


(ra, I £1) 


便 4.7 求解 0-1 型 整数 规划 ， 
min ZZ=3rtSr2+673+4drat zs, 
s.+. 271 一 3zz 十 357 一生 xz 二 37257211， 
3T1t ST2+ 工 3 十 3 十 zed4, 
2xzl 一 并 十 人 zy 一 3z4 二 工 523， 
zi=0,1, j=1,2,3,4,5. 
解 ” 原 向 题 是 极 小 化 问题 , 和 将 目标 通 数 系数 按 降 序 排 列 , 得 
min 2Z=67r3+ 372+474t+ 3r1+ rs 


.tt. ST3— Sr2 dra +2r1+371s>1, 


(1) 
TITt Sr trst r+ sd, (2) 
Bx3— X23r4™2I1+ rs, (3) 


z=0,1, j=1,2,3,4,5. 
由 约束 条 件 (3) 可 以 知道 ,必须 有 zs = 1， 又 由 于 原 问 题 是 求 极 小 化 ， 故 过 建 值 应 尽 可 能 
小 , 本 问题 求解 过 程 见 表 4.12， 最 优 解 及 最 优 值 为 
xX1=1, x2=0, zs3=1, Tz4=0, zs=0, 
Z"=9 
由 于 例 4.3 的 目标 函数 系数 全 为 正 ， 因 此 其 余 点 的 目标 函数 将 更 大 ,肯定 不 是 最 优 解 ， 
不 必 对 其 可 行 性 进行 检验 ， 
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【1， 小 ， 0; 心 ， 0 


{1, 0, 0, 0, 1) 


(1, 0, 0, 1, 0} 


对 于 非 线性 的 0-1 遵 芷 数 规划 ， 可 以 化 为 0-1 型 线性 整数 规划 来 处 理 ， 
例 4.8 求解 非 线性 0-1 型 整数 规划 : 


max f=3zx1+ 2xz2z3 一 了 了， 


s,t, 2z1 一 3zry + xs, 
zi=0,1, j=1,2,3, 


T= js (4.4.1) 


又 引信 辅助 变量 y= XIT3. 
显然 有 
1， x1= x4=1, 
: 人 0， 其 他 . 
易 验 证 ，(4.4,2} 等 价 于 不 等 式 组 (4.4,3)， 即 


y= (4.4.2) 


za+ 13— 1SySB (rat zr) (4.4.3) 
十 是 ， 原 问题 化 为 
max f=3r1+2y- ry; 
St、 2r1-3r2+ I3 <5, 
Er 
-xX2 -I3+2yE0, 
Xjs y=0 或 1, j=1,2,3. 
将 自 标 孙 数 按 升 序 重 指 ， 得 
max f= -3+)rr+2y+3r1, 
8.t, Ty—3r2+2715, 


(1) 


(2) 
-x3 x2+2yE0, 《3] 


xir y=0,1, j=1,2,3. 


Z3 十 了 2 一 了 <， 


求解 过 程 抑 表 4.13. 


(1, 1, 1, 1) 4 wv 


在 本 题 中 ，(1, 1, 1,1) 满 足 约 束 条 件 ， 是 最 优 解 ， 最 优 信和 是 4， 
习 是 


1. 分 别 用 制 乎 面 法 和 分 核定 界 法 求解 整数 规划 问题 
max ZZ= x1t+4r;, 
st. 14zi+4272sS196， 
— r+ 2， 
ES 1 
2. 用 分 枝 定 界 法 求解 混合 整数 规划 问题 
min 2Z=3rt1izr2: 
st。 25r1+3rz 生 12， 
一 了 十 re2, 
Il; X10, 
Xt 是 整数 . 
3. 求解 整数 规划 问题 
max Z=65r1+ B07 + Wr 
st. Zr1+3r2+ TE:5, 
Tl 
zt1s TX4; XT$ 是 整数 ， 

4. 菜 工厂 接受 A 产品 订货 , 需要 基 为 每 天 4000kg, 现 有 Bl， Bs，B; 三 种 生产 过 程 可 殿 选 择 , 各 生产 
过 程 需 要 的 固定 成 本 {单位 ; 元 ) 单 位 产品 变动 成 本 (单位 ; 元 /kg) 以 及 最 大 日 产量 (单位 : kg) 见 表 4. 14， 
该 厂 决策 者 需要 作出 正确 的 决策 ,确定 采用 哪 种 (一 种 或 完 种 ) 生 产 过 程 玉 日 产 多 少 和 产品 ， 以 保证 既 能 
按时 变 货 ， 丸 合生 产 总 成 本 避 少 . 试 建立 本 问题 的 数学 模型 . 


1200 


单位 变动 成 本 六 元 /gg) 最 大 于 产量 /kg 


2500 


2300 
3500 


S00 


5. 儿 隐 校 举 法 求解 0- 1 型 整数 规划 


max 2Z=3r+ rt+4dryt+2r,, 


Sst, IT3rz 一 2734+ x4e2, 
3xz1 一 X71+ 工 十 274S2， 
x+ 52 一 XI3+ Ta3, 
zt;=0,1, j=1,2,3,4, 


在 许多 实际 决策 问题 中 ,通常 包括 多 个 不 相 容 的 目标 , 而 且 要 间 时 考 虚 , 例如 ， 设计 
一 个 导弹 , 既 训 射程 最 远 ， 又 要 燃料 最 省 ， 还 要 质量 最 轻 ， 精 度量 高 . 在 确定 一 个 橡胶 配方 
时 , 往往 赣 求 同时 考察 强度 、 硬 席 、 变形 、 伸 长 等 多 个 目标 . 这 类 回 题 称 为 多 目标 规划 问题 
(multiobjective programming)， 它 们 的 早期 来 源 是 经 济 殖 论 ， 现 在 已 应 用 诗 工 程 优 化 设计 、 
地 区 发 展 规 划 、 数理 经 济 学 和 环境 保护 问题 等 许 包 领域 . 


5.1 多 目标 规划 问题 举例 


例 5.1 买 糖 问 题 设 商店 有 Al，Az， 上 As 三 种 糖果 ， 单 价 分 别 为 4.00, 2.80 和 2.40 
元 /kg， 现 要 筹办 一 殉 茶话会 ,要求 用 于 买 糖 的 钱 数 不 超 过 20 元 , 糖 的 总 量 不 少 于 6kg， 
Ai，Aa 两 种 糖 的 总 和 不 少 于 3kg， 问 应 如 何 确定 最 好 的 买 糖 方案 ? 
设 zl，z2，73 分 别 为 购买 Al，As，As 三 种 糖 的 数量 . 用 于 买 粮 所 社 费 的 总 钱 数 为 y1， 
所 买 精 的 总 数量 为 y,. 自然 希望 yy 取 最 小 值 ，y; 到 量 大 值 ， 即 
yi=r1 + 2 Br2+2.47x, min 
Y= TI1T Tot Ty —max 
而 约束 条件 为 
4x1+2.8r3+2.474<20, 


地 | + 3+ X36 


Tl, Tas 工 3 日 . 
可 见 , 这 是 一 个 包含 两 个 旦 标的 线性 规划 问题 ， 称 为 多 目标 组 性 规划 问题 . 由 于 求 和 
的 最 大 值 可 转化 为 求 { - %) 的 最 小 值 ， 记 以 上 述 问 题 可 归结 为 
V-min (f(x), ftx)), 
St, 4rz1+2.87x2+2.4z;<20, 


Xt Xi+ za6, {5.1.1) 
X11 x2 六 3， 
Tis TI 工 3 之 人 . 


其 中 ， f(x) = 户 (z)= -32 YY= (zz2 xs)r， 符号 "V-min" 表 示 求 向 量 函 数 
fx)= (有 (x), (x))! 的 最 小 值 . 而 一 般 的 儿 目 标 数学 规划 问题 可 以 写成 
V-min flx), 
Bt glx)e0, i=1,2,.,m. 
其 中 ， X={T1 Ta" Tn) Fr) (f(r), PC p22, 


{5.1,2) 


tt 


~ ; ee re Ee i bw 
EELES: 


令 良 = 人 gsS0 二 1,2,…,m|， 称 RR 为 问题 (5.1.2) 的 可 行 集 或 约束 集 , 称 工 
ER 为 问题 ($.1.2) 的 可 行 解 . 儿 目 标 规 划 间 题 与 前 画 所 讲 的 线性 与 非 线 性 问题 的 主要 区 
别 在 于 : 它 所 追求 的 自 标 不 只 一 个 , 而 是 p 个 (p 之 2). 

例 $.2 生产 计划 问题 基 纺 织 厂 生产 A|，A,，As 三 种 布料 , 该 厂 两 班 生 产 , 每 周 生 
产 时 间 为 90h,， 每 周 的 能 耗 不 得 超过 150t 标准 煤 , 其 他 数据 见 表 5.1. 问 每 懈 生 产 三 种 布 
料 各 多 少 小 时 ,才能 使 该 厂 的 利润 最 多 ， 而 能 源 消耗 最 少 ? 

胡 5.1 

能 烽 /(W1000m) 
| 


| 
| 
该 三 每 周 生 产 三 种 布料 Al，Aa，As 的 小 时 数 分 别 为 rz/，x2，x3， 总 利润 为 y, 元 , 总 
能 源 消耗 基 为 y, 夺标 准 煤 , 则 上 述 间 题 可 归结 为 如 下 的 多 目标 线性 规划 问题 . 
V-min flx)= C(x), falx)), 
S.t. X1+ X71 二 + 3 人 E00， 


i.2x10-3x400zr1+1.3x10 3x500r2+1.4x10 3 x360z3150, 


400z1 扫 40000， 
S00z2 48000, 
360z330000, 
工 1y 工 2， T4220. 
(5.1.3) 


其 中 ， F(x) ==- yi flx) = yx = (zzz Xa}, 
y1 = 0.25 x 400z + 0.2 x S00z2 + 0.3 x 360z3, 
y2 = 1.2x1073 x 400x1 + 1.3 x 10 x S00zx; + 1.4 x 10"? x 3607z3. 
例 5.3 光学 系统 的 自动 设计 一 个 光学 系统 ， 如 照相 机 头 、 显 微 镜 的 物镜 和 目镜 、 
想 远 镜 及 电影 放映 机 的 镜 涉 等 ,一 般 基 由 若干 个 球面 透镜 组 成 的 ， 制 造 这 些 透镜 的 材料 是 
具有 不 同 折射 率 的 光学 玻璃 . 各 个 镜面 都 有 一 定 大 小 的 半径 和 厚度 ， 各 镜面 之 间 保 持 一 定 
的 间隔 . 一 个 光学 系统 中 各 个 透镜 镜面 的 半径 、 厚度 、 镜面 间距 及 各 透镜 所 用 光学 玻璃 的 
折射 率 等 , 称 为 这 一 光学 系统 的 结构 参数 . 这 些 参 数 的 大 小 ， 直 接 影响 光学 系统 的 成 像 质 
量 . 所 谓 一 个 光学 系统 的 自动 设计 问题 就 是 根据 系统 的 要 求 , 设法 自动 确定 各 个 结构 参数 
的 大 小 ,使 系统 的 成 像 质 量 最 好 ， 而 与 成 像 质量 有 关 的 是 蓝 考 察 若干 个 俐 差 指 标 
i=1,2,…, mm). 对 于 一 个 光学 系统 ,其 像 差 指标 值 可 以 事先 选 定 , 设 为 fr (x) (fi 
二 1,2,…,m). 因此 ,光学 系统 的 优化 设计 间 题 可 以 化 为 如 下 多 目标 规划 向 题 : 
V-min FOx)=(f(x) -Fr far) fi, fx) fo) 
st， xEA. 
其 中 ，x = (xz, 2，…, Xa) 为 结构 参数 ，x E A 表示 对 结 档 参 数 zl, zx，,-…, zx; 的 基 些 限制 
条 件 ， 
问题 45.1.4) 是 一 个 售 有 m 个 冒 标的 多 目标 非 线性 规划 问题 ， 


(5.1.4) 


由 上 面 的 抽 个 鲍 子 可 汶 看 出 ,在 许 过 实际 问题 中 ， 各 个 目标 的 量 网 一 般 是 不 相同 的 ， 
所 以 有 必要 把 每 个 目标 事先 规范 化 , 例如 ， 对 第 ; 个 带 量 岗 的 目标 F(x), 可 令 
lr}= F(X)/F,. 
其 中 ， FminF(x), R= |xlg(x)E0, 二 12 上 
这 样 ， 户 (xz) 就 是 规范 化 的 目标 了 . 因 些 ， 在 以 后 的 作 述 里 , 处 妨 假设 多 目标 规划 问题 
中 的 目标 都 是 已 经 规范 化 了 的 . 


5.2 多 目标 规划 问题 的 解 集 和 像 集 


5.2,1 多 目标 规划 问题 的 解 集 


考察 如 下 多 目标 规划 问题 : 
V-min Flx)=(fitxr), f(r), fo(x)), 
Sst, g(r}E0O, i=1,2,-…,m. 
其 中 ,x = (ri zz XT) 1 轧 这 2， 
令 R= [xrig,(x)<0, i=1,2,., mm}, 
定义 5.1 设 x'ER, 若 对 任意 xER 及 i=1,2,…,p, 痢 有 (x ") 志 f(x) 成 立 ， 
则 称 x "为 问题 (5.2.1) 的 绝对 最 优 解 . 而 F* = (fi(x )，f2(x*)，-…， fp(x'))T 称 为 绝 
对 最 优 值 . 
例如 , 若 f(x)= xz?，folx)= xz:+1， 则 问题 
VY-min F(x}= (fx), ftx)),, 


(5.2.1) 


(5.2.2) 
s.t, 33 
的 绝对 最 优 解 为 x“ =0， 绝 对 最 优 值 为 F* = (0,1)7. 
车 (x= xx?+ f(x) = r+ 2 祝 +1， 则 问题 
VY-min Flx)= (F(x), fot x))", (5.2.3) 


s.t. 天 xz1 安 1， 一 1 过 7 区 1 
的 绝对 最 优 解 为 x" = (0,0) 7， 绝对 最 优 慎 为 王 ” = (0, 1)T. 
若 所 (x)=x， 放 (x)= (x 一 1 则 向 题 (5,2.2) 没 有 绝对 最 优 解 ,或 者 说 它 的 绝对 最 
优 解 不 存在 . 因此 ， 要 寻找 另外 意义 下 的 解 ， 为 此 ,引入 如 下 符号 ， 
{1) 符号 “< 之” 


令 


Flxtd)= 《Pt Fol rel), fort), 
FOx®) = A), far) folx 2)), 
下 (ti RUxt03 等 价 于 rmx), j=1,2,.…,p. 
(2) 符 号 "<<"” 
F(x 中 F(x9) 等 价 干 f(x)Ef(x DD), j=1,2,.…,p. 
昌 至 少 存 在 某 个 jo(1<jo<p), 使 所 (x 中 )< f(x) 
定义 5.2 设 x* ER, 若 不 存在 +ER, 满足 F(x) 志 F(x"), 则 称 x* 为 问题 


-he 
| 


[3 


站 


Pe 一 -四 一 a EE AL 


(5.2.1) 的 有 效 解 ,或 者 称 为 Pareto 解 ， 也 称 为 非 劣 解 . 

定义 5.3 设 x"* ER, 若 不 存在 xER, 满足 F(x)<F(lx")， 则 称 x* 为 问题 
《5.2. 匀 的 弱 有 效 解 ， 或 者 称 为 绊 Pareto 解 ， 也 称 为 弱 非 劣 解 ， 

用 R "表示 问题 (5.2.1) 的 绝对 最 优 解 所 组 成 的 集合 ， 用 RR 表示 间 题 (5.2.1) 的 有 效 
解 所 成 的 集合 ， 用 R2 表 示 (5.2.1) 的 弱 有 效 解 所 成 的 集合 ， 易 见 x ER， 意味 着 找 不 
到 一 个 可 行 解 xER, 使 Ftx)=(F1(x), f(x),…, f(x))1 的 每 一 个 目标 函数 慎 都 不 比 
F(x )=(fi(x*), fo(x"),…, f,(x*))r 的 相应 目标 函数 值 坏 ,并且 F(x) 至少 有 一 个 目 
标 函 数值 比 F(x ”) 的 相应 目标 函数 值 好 , 即 当 x “后 有 mm 时 ，x “在 “和 <" 意义 下 ,已 找 不 到 
另 一 个 可 改进 的 可 行 解 了 . 

xz 和 R， 意味 着 找 不 到 一 个 可 行 解 xER， 使 得 F(x)= (PCz) 户 (xz) 
fp(x))" 的 每 一 个 目标 询 数 值 都 比 F(z*) = (fi(x*),f2(x*),…, fo(x"))7 的 相应 目标 
函数 值 严格 地 好 ， 即 当 x "ERR 加 时， x '* 在 “之 "意义 下 ,已 找 不 到 另 一 个 可 “改进 "的 可 行 
解 x* 了 . 

如 果 用 尺 (; =1,2,…,p) 表 示 单 目标 规划 问题 

min f(x), 
st. gx)E0, i=1,2,.…,m 
的 最 优 解 所 组 成 的 集合 ， 则 显然 有 
R* = 用 Ry 

RR ,RE Rib, R, RI, RI ,…, RY 之 间 的 关系 由 下 面 的 几 个 定理 给 出 ， 

定理 5.1 RamCRipCR. 

证 明 RCR 是 显然 的 ， 所 以 只 需 证 RCRw. 

用 反 证 法 . 假设 有 x 皇 及 六 ,但 x 拟 尺 w 由 定义 5.3 可 知 ， 必 存在 yER, 使 F(y)<< 
F(x), 即 对 j=1,2,…, 户 ， 有 Cy) 气 (x) 成 立 ， 所 以 y 满足 FLy) 志 F(x)， 由 此 推出 x 
入 民 交 ,这 与 假设 相 牙 盾 ， 因 此 应 有 x 人 ER 冯 RR 名 CR5 成 立 . 

同 理 可 得 出 定理 5.2 和 定理 5.3. 

定理 5.2 RCRip, j=1,2,.".p. 

定理 5.3 R*CR%. 

也 上 述 定理 得 知 R*CRACR”CR, R;CR,,, j=1,2,.…,p. 

定义 5.4 若 问 题 (5.2.1) 中 , Cx), fx) ,fp(x) 和 g(x) ,ga(x),…, gm(x*) 均 
为 凸 函 数 ， 则 称 (5,2,1) 为 凸 多 目标 规划 ， 

一 般 来 说 ， 对 于 凸 多 目标 规划 {5.2.1)， 其 及 2， 有 只 2 也 不 一 定 基 凸 集 ， 


5.2.2 多 目 标 规 划 问 题 的 像 集 


在 (5.2.1) 中 ,， 取 定 一 可 行 解 x' 中 ER， 得 到 对 应 的 目标 沿 数 值 
Flx'o) = 《Pt fol x 0)), fox ))T, 
F(x 人 中) 可 视 为 p 维 欧 氏 空 间 E? 中 的 一 个 点 . 一 般 来 说 , 对 于 任意 xE 尺 ,都 可 得 到 E? 中 
的 一 个 点 F(x), 于 是 可 以 定义 一 个 映射 下; 


x— F(x). 


令 F(R)= BF(x)x 人 Ri， 测 称 了 (R) 为 可 行 集 民 在 映射 F 之 下 的 像 集 . 

对 任意 x 件 入 民 ， 称 下 (xz0) 所 下 ( 民 ) 为 点 x 册 在 喘 射 正 之 下 的 像 . 若菜 个 FE 
F(R), 则 至 少 存 在 一 个 点 x 中 ER, 使 F(x 中 )= 下， 称 他 为 吕 的 一 个 原 像 . 

一 般 来 说 ， 对 于 凸 儿 目标 规 划 (5.2.1)， 其 像 集 下 (RR) 不 一 定 是 西 集 . 

定义 5.5 设 FEF(R), 车 不 存在 FEF(R), 满足 FF, 则 称 下 为 像 集 F(R} 的 有 
效 点 ,用 EE 表示 全 体 有 效 点 所 成 的 集合 . 

定义 5.6 设 FEF(R), 若 不 存在 FEF(R), 漠 足 F<F， 则 称 F 为 像 集 F(RR) 的 弱 
有 效 点 ， 用 表示 全 体 蚤 有效 点 所 成 的 集合 . 

易 证 像 集 扩 (RR) 的 有 效 点 一 定 是 弱 有 效 点 ， 妈 簿 有 天 多 忌 EE, 成立， 


5.3 ”处理 多 目标 规划 问题 的 一 些 方法 


对 于 多 目标 规划 局 题 ,常用 的 方法 有 约束 法 、 分 层 序 列 法 、 评价 函 数 法 、 逐步 法 等 , 下 
面 将 从 实用 的 角度 介绍 各 种 方法 . 


5.3.1 约束 法 


从 问题 (5.2.1) 的 pp 个 目标 敬 数 (x), (x),…, p(x) 中, 若 能 够 确定 出 一 个 主要 目 
标 , 例如 广 (xr)， 而 对 其 他 的 目标 函数 f(x),…, 户 {z) 只 要 求 满足 一 定 的 条 位 即 可 ， 例 如 
要 求 a 所 (xb i =2,3,.…,p， 
这 样 ， 就 可 以 把 其 他 目标 当 和 作 约 束 处 理 ， 则 问题 (5.2.1) 可 化 为 求解 如 下 的 非 线 性 规 
划 问 题 ， 
min f(x), 
gst, gx)EO, 
aj) EG 


5.3.2 分 层 序列 法 


求解 问题 (5,2.1) 的 分 层 序 列 法 是 把 其 中 的 p 个 自 标 , 按 其 重要 程度 安排 一 个 次 序 ， 
例如 不 妨 设 问题 (5.2,1) 中 的 p 个 目标 的 次 序 已 经 排 好 ， fi (x) 最 重要 ，f(x) 次 之 ,， f(x) 
再 次 之 ， 最 后 一 个 目标 为 f(x). 先 求 问题 
min fi(x), 
Sst. g(x)e0, i=1,2,.,m 
的 最 优 解 x 中 及 最 优 信 六 ， 即 


(P1) 


minfi(x)=f1. 
其 中 , R= |x|gi(x) 和 0, i =1,2,…,ml， 
再 求解 问题 
min flx), 
号 ,上 . XRI. (Ps) 
其 中 , Rj=RDN1xlitx) 所 说 1. 


设 问题 (P2) 的 最 优 解 为 x 中 ,最 优 值 为 卢 = mipf2(x)， 继续 求解 问题 


| 


se EL bbl> si 


min f(x), | 


Ss,t, 区 所 及 (Pa) 
其 中 ， 及 :2 盖 玉 ix 六 (z) 委 让 上 | 
如 此 继续 下 去 ， 直 到 求 出 第 p 个 问题 
min folx), 
Ss.t. XER,-L (Pe) 


的 最 优 解 x 及 最 优 秆 f* .其 中 ， 
Rs-1= Rs-2f xl fritx) fo). 

这 样 求 得 的 x'?? 就 是 问题 (5,2.1) 在 分 层 序列 意义 下 的 最 优 解 ， 即 x* = x 而 
F*=(F(x"), fr) folx")) 

为 回 题 (5.2.1) 的 最 优 慎 , 可 以 证 明 x "是 问题 (5.2.,1}) 的 有 效 解 ， 即 有 如 下 定理 . 

定理 5.4 设 x"* 是 由 分 层 序列 法 求 得 的 问题 (5.2.1) 的 最 优 解 ， 则 必 有 x "ER. 

证 明 用 反 证 法 , 假设 x* 舍 RR%， 则 必 在 在 yER, 使 Fly) 扎 F(x"). 下 面 分 两 种 情 
襄 讨论 ， 

(1) 车 所 (Cy)<<f《x"), 则 因为 六 (x*)= 疗 ,于 是 得 到 (P) 的 一 个 可 行 解 y, 满足 

fef(x "=. 
这 与 站 = minfi(x) 相 芥 盾 ， 
(2) 若 (x)= f(r"), j=1,2,…,jo-1, 而 
D(X), 2Sjop. 
这 时 , 由 于 (x 所 开 G=1,2,…,j0~1), 斯 以 
万 人) = 万 人 EF, j=1,2,.%,70-1. 
因此 ，? 是 癌 题 
min fi Kx), 
s.t. | (P;,) 
的 一 个 可 行 解 ， 又 估 万 ()< 广 kz )= fi 这 与 太 是 问题 (PP ) 的 最 优 值 相关 盾 ， 综合 
(1)，(2)， 即 知 定 理 5.4 的 结论 成 立 . 

对 上 述 的 分 层 序 列 法 稍 加 分 析 即 可 看 出 ， 若 对 某 个 问题 (P;)， 其 最 优 解 是 唯一 的 ， 则 
问题 4P;，),…,(P,) 的 最 优 解 也 是 唯一 的 ， 且 tr = YY 人 = 人 一 2 因此 党 
将 分 层 序列 法 修改 如 下 : 选取 一 组 适当 的 小 正 数 sl 2, …,sey_i， 称 为 宽容 值 ， 即 按照 各 个 
目标 函数 的 不 同 要 求 ， 预 先 给 定 关 于 相应 目标 函数 最 优 值 的 允许 误差 ， 将 问题 (Pi) 修 改 为 

min f(x) 
st. XERI=RA2N x If (rE te j=2,3,.%,p. 
崩 按 上 述 的 分 层 序 列 法 依次 求 拥 各 问题 (CP,), (P3),…, (Pp). 


5,4 评价 函数 法 


评价 函数 法 是 一 大 类 方法 , 它 的 基本 思想 是 : 针对 过 目标 规划 问题 (5.2.1) 构 造 一 个 


评价 函数 h (F(x))， 然后 求解 问题 
| 6 

用 (5.4.1) 的 最 优 解 x* 作为 问题 (5.2,1) 的 最 优 解 . 当 上 (下 (xz)) 满 足 某 种 单调 性 质 时 ，x* 
一 定 是 问题 (5.2,1) 的 有 效 解 或 弱 有 效 解 . 为 此 ，3 引 入 如 下 定义 和 定理 . 

定义 5.7 若 对 任意 下 , FE E?, 且 FSF, 都 有 CF)<h(F) 成 立 , 则 称 h(F) 是 F 
的 严格 单调 增 函 数 . 

定义 5.8 车 对 任意 让, FE Ef, 且 F<F, 都 有 有 CF)<h(F} 成 立 , 则 称 h(F) 是 FF 
的 单调 增 阔 数 ， . 

定理 5.5 设 FEFEr, 车 (FF) 是 下 的 严格 单调 增 函 数 ， 则 间 题 (5.4.1) 的 最 优 解 x” 
ERL. 

证 明 ”用 反 证 法 . 设 x* 护 Rps， 则 必 存 在 yE R, 使 F(y) 扎 F(x“). 由 于 Ah(F) 是 Ff 


的 严格 单调 增 函 数 ， 所 以 有 (FC(y))<h(F(x “ )), 这 与 x 是 问题 (5.4.1) 的 最 优 解 相 予 
盾 


用 同样 的 方法 可 证 明 ; 
定理 5.6 设 FEE?, 车 h(F) 是 下 的 单调 增 印 数 , 则 问题 (5.4.1) 的 最 优 解 x* E 
RY,. 


在 构造 评价 函数 时 ,应 该 构造 为 严格 单调 增 瑞 数 或 单 谓 增 函数 , 于 是 根据 定理 5.5 或 


定理 5.6 知 ,x "ER 或 x" EERws， 由 于 可 以 用 不 同 的 方法 构造 评价 函数 ， 因此 有 各 种 不 | 


同 的 评价 函数 方法 . 下 面 介绍 常用 的 几 种 方法 ， 
5.4.1 理想 点 法 


理想 点 法 的 基本 思想 是 定义 一 种 模 ,， 在 这 种 模 的 音义 下 ， 找 一 个 点 ， 尽 量 接近 理想 点 
F", 使 
h(x)= F(x)- F* | min, 


因此 称 之 为 理想 点 法 ， 
在 问题 15.2.1) 中 ， 先 分 别 求解 疡 个 单 目标 规划 阿 题 
min f(x), i=1,2,.,p, 
st, gr)EO, j=1,2,.",m. (5.4.2) 
令 站 = fi(x)，i=1,2,…,p, 其 中 
R=|x|g(x)E0, j=1,2,.…, mi. 
构造 评价 函 教 
h(r)A (F(z)) = DP (5.4.3) 


再 求解 问题 (5.4.1)， 取 其 最 优 解 x "作为 问题 (5,2.1) 的 最 优 解 ，h (x) 也 可 以 取 为 更 一 般 
的 形式 


上 1 
h(x) = [DCACGr) - 有 站) 9， 9 > 1 为 整数 . 
以 上 求 得 的 向 量 F* = (7 ,所 ，…, 所 )7 只 是 一 个 理想 点 ， 一 般 不 能 达到 它 . 


回国 国 加 图 


5.4.2 平方 和 加 权 法 


先 求 出 各 个 单 目标 规划 问题 (5,4.2) 的 一 个 尽 可 能 好 的 下 界 内, 及.…, 及 ， 即 
min fr) i=1,2,.",, 
然后 构造 评价 函数 
htxr) = ACFCX)) = Pf) -2 (5.4.4) 
其 中 ，41, 42,…,4s 为 选 定 的 一 组 权 系数 ， 它们 满足 


Dx =1, Mi>0, i= 1,2,.,p. 


再 求 出 阿古 (5.4.1) 的 最 优 解 x "作为 (5.2.1) 的 最 优 解 . 

权 系 数 X41,42,…,4s 的 选取 方法 有 以 下 几 种 ， 

{1) 老手 法 

老手 是 指 有 关 方 面 的 专家 、 有 经 验 的 工人 和 干部 等 ， 洲 请 一 批 老手 (N 个) 请 他 们 各 
自 独立 地 填写 好 下 的 调查 表 ( 见 表 5.2)， 

训 $.2 


其 中 ,， 24; 是 第 ; 个 老手 对 第 ; 个 目标 (x) 给 出 的 权 系 数 (i = 1,2,…, Ns j=1,2,…， 
p). 
在 表 5.2 填 好 后 ， 用 下 式 可 计算 出 权 系 数 (7 = 1,2,…, 户 } 的 平均 慎 ， 


= 2, j = 1,2,.,p, 
然后 对 每 个 老手 i(1<<iN), 算出 其 估计 值 iu 与 平均 信和 的 偏 莽 ， 即 
有 一 | 一 j=1,2,.,p, 
再 请 偏差 最 大 的 老手 发 表意 见 ， 通 过 充分 讨论 后 ， 再 对 权 系 炒作 适当 的 调整 ,以 便 获 得 较 
为 可 人 党 的 数据 . 
{2) a 方法 
a 方法 是 由 Kaprenesnu 等 在 1975 年 提出 的 . 为 了 便于 理解 ， 先 介绍 记 =2 情形 的 ae 
方法 , 首先 求 出 问题 
min f(x), i=1,2, 
st， * 己 民 
的 最 优 解 ， 设 为 x 中 (i=1,2,). 令 
用 = 万 (z 人 ) 及 = (zh)， 
f= f(x0), f= fz). 
设 过 点 (用 用)7 和 (内, 月)” 的 直线 方程 为 


Aft+ aA2f2= 8, (5.4.5) 
其 中 ,系数 A1,4;, 68 待定, 不 妨 假 设 


A1+ A2=1. (5.4.6} 
将 点 (及 , 上访 )" 和 (及, 及)7 的 坐标 代入 (5.4.5), 性 
Aft+a2f3=8p, 
fit+ A= 8. 
若 问 题 (5.2.1) 不 存在 绝对 最 优 解 ， 则 有 
及 = PCzt)> 广 (zi)= 六， 
f=f(x D0)> f(r)= 2. 
车 及 = 及 则 说 明 x 个 也 是 问题 (P1) 的 最 优 解 . 由 于 x 亿 已 是 问题 (P;) 的 最 优 解 , 因此 


x 是 各 题 (5.2.1) 的 绝对 最 忧 解 , 这 与 假设 问题 15.2.1) 不 存在 终 对 最 优 解 相 耶 盾 . 由 方 
程 (5.4.6) 和 (5.4.7) 联 立 , 可 求 出 权 系 数 


(5.4.7) 


) BA- 

(fA~- A + 有 ) 
2_ el 

Az 1 1 


-+R 
对 于 一 般 具 有 p(p 守 2) 个 目标 的 情况 ,可 以 完全 类 侯 地 求 出 ， 
首先 , 求 出 p 个 问题 
min fitx)}, i=1,2,..,p, 
s.t. XER 
的 最 优 解 ， 记 为 x'?, i =1,2,…, 户 . 
令 了 二 (x 中 ),， j=1,2,… ,pi =1,2,…, 户 , 设 经 过 pp 个 点 (fi 及， 记 六 
(i =1,2,…, 思 ) 的 超 平面 方程 为 
A Arf2t rt Apfp= PB, 
其 中 A1t+ A2+ p=1, 
于 是 有 


(5.4.8) 


» 
2 并 | 


让 


《5.4.8) 是 含有 户 + 工 个 变量 41, 42， aa 及 p +1 个 方程 的 线性 方程 组 . 当 问题 (5.2.1) 
不 存在 绝对 最 优 解 时 ,，(5.4.8) 有 唯一 的 一 组 解 ， 所 解 得 的 1, 32,…, 4s 就 是 所 要 求 的 权 
系数 


5.4.3 线性 加 权 和 法 
对 间 题 (5.2.1) 中 的 个 目标 函数 f(x), f(x),…, f(x)， 接 其 重要 程度 给 也 适当 的 
权 系数 4; 之 0，i = 1,2,…, p， 且 了 4 = 1， 然后 构造 评价 函数 h(x》 = A(F(x)) = 


2 14ifi(x) 作为 新 的 目标 函数 ， 再 求解 问题 (5.4.1)， 得 最 优 解 *"， 以 x "作为 原 问题 


pu 
3 
性 


上 
La 


回回 有 国民 留 加 癌 回 贸 区 


-= se dt 
i cE” 


(5.2.1) 的 最 优 解 . 由 于 这 种 方法 简单 易 行 ,计算 量 小 , 常 在 实际 工作 中 采用 . 


下 面 将 证 明 . 
(1) 当 为 >0 (=1,2,…, 户 ) 时 ,4h( 玉 ) 为 严格 单调 增 菠 数 . 
(2) 当 生 0 (j=1,2,"…', 户 ) 时 , h( 玉 ) 为 单调 增 阴 数 . 
证 明 (2) >00G=1,2,…,p), 有 FS 记 , 所 以 
NF 人 CA j=1,2,.…,p, 
由 下 所 FF 可 知 : 至 少 存在 某 个 jo(1 扫 j0 委 六 )， 使 
fi <, 
于 是 hi 
由 (5.4.9) 和 (5,4.10), 可 得 


» 


声 
AF) = Df < DN = h(F). 


rl 


(2) 因为 MP0 (j=1,2,…,p), 且 下 <F， 所 以 
Lf j=1,2,."，, pp. 
又 因为 > = 1， 所 以 至 少 存在 某 个 je(1 志 jo 二 2), 使 > 0. 
于 是 有 寻访 < Mh 
由 (5.4.11) 和 (5,4.12) 可 得 
产 F 
h(F) = Daf < DN = kh(F). 
J=] ] 
s.4.4 概 小 - 极 大 法 (min-max 法 ) 


(5.4.9) 


{5.4.10) 


{5.4.11) 


(5.4.12) 


在 对 策 论 中 ， 作 决 第 时 常常 要 考 虚 在 最 不 利 的 情况 下 抽出 一 个 最 有 利 的 策略 方案 ,这 


就 是 所 谓 的 极 小 - 极 大 法 , 按照 这 种 思想 ,可 以 构造 评价 函数 
A(F(x))}= 名 直方 (2 ， 
然后 求解 问题 


min A(F(x)) = mint magfi(x)}, 


s.t. XR. 


得 最 优 解 x*"， 以 “作为 问题 全 .2.1) 的 最 优 解 ， 也 可 以 选取 一 组 适当 的 权 系 数 4, 42,…， 


， 鸽 它们 满足 2 = 1 六 0 i = 1,2,…,p, 然后 将 评价 函数 定义 为 


i=1 


ht Ftx))= 下 A(x)1. 


5.4.5 冬 除 法 


在 问题 (5.2.1) 中 , 设 对 任意 xER, 各 目标 函数 值 均 洪 足 (x)}>0, j=1,2,-…,p. 


现 将 目标 哆 数 分 为 两 类 ,不妨 设 其 分 别 为 
F(x), ftx), "fx min, 


firilx), frra( x), ax 
则 可 构造 评价 函数 


IF) 


h(F(X)) = 天 一 一 一 ， 


然后 求解 问题 15.4.1)， 邑 可 得 到 问题 (5.2.1) 的 最 优 解 ， 
5.5 逐步 法 (step method) 


逐步 法 是 一 种 挝 代 方 法 ， 在 求解 过 程 中 的 每 一 步 ， 分 析 者 把 计算 结果 告诉 诀 策 者 ， 决 

策 者 对 计算 结果 作出 评价 ， 车 认为 满意 ， 则 过 代 终 止 ， 否则 胡 析 者 根据 决策 者 的 意见 再 重 

复 计 算 ， 如 此 循环 地 进行 ,直到 求 得 满意 解 为 止 . 这 种 方法 主要 是 针对 如 下 的 多 目 标 线性 
规划 回 题 设计 的 : 

V_min a | 


St， 六 三， (5.5.1) 
x 
其 中 ， Flr) 三 Dl cz, 1 二 1,2,",p， 六 = LT b= {bi, ba,'"*, ba ). 
令 RR=|x1Ax 志 b,x 之 他， 逐步 法 的 计算 步 又 如 下 : 
(1) 分 别 求解 如 下 的 pp 个 单 目 标 线性 规划 问题 ， 
min F(x) 一 2 cpm 1 二 | (5.5.2) 
st xXER. 


设 所 得 的 最 优 解 为 x Oi=1,2,.%,p), 相应 的 最 优 值 为 六 (i=1,2, oy p), 令 
fe Amaxt fi(x )， 
(2) 令 
FR Fr > 0, 


ui = (5.5.3) 
二 一， 大 <0. 


N= i 1,2,,p. (5.5.4) 


外 (5.3.3) 和 (5.3.4) 易 见 


其 中 ,i =1,2,…, 上 p， 2 = 二， 
(3) 求 出 问题 


= EEE 


rp ES -a fl 
Pe gl EE ‘ 六 


mn £, 
St. [fCx)— fF? JAS i=1,2,.…,p, (5.5.5) 
XER, ti0 
的 最 优 解 x 中 及 (x), (x),…, f(x ty. 

(4) 将 上 面 的 计算 结果 x 人 及 F(x 个), f(x 中 ),…, f(x 中) 告诉 决策 者 ， 若 决策 者 
认为 洲 意 ， 则 取 x 中 为 (5.5.1) 的 最 优 解 ，F(x)= (F(x 所 (x 中 ),…, 户 (xG))T 为 
最 优 值 ， 计 算 结束 ; 否则 由 决策 者 把 某 个 目标 (例如 第 j 个 目标 ) 的 值 提高 A 广 ( 称 之 为 宽容 
值 )， 则 (5.3.5) 中 的 约束 集 R 应 修改 为 RD， 即 令 RR= RD， 其 中 

RO=IxIxE RIEP x tAS, fr EF(xD), i=1,2,., Pp, ii, 
且 罗 =0, 再 求解 问题 (5.5.5), 得 最 优 解 x 中 及 f(x 中 ), f(x 2),…, 名 (x 四), 这 样 继 
续 迭 代 下 去 ， 直 到 求 得 一 组 决策 者 满意 的 解 为 止 ,由 此 可 见 这 是 一 种 人 机 交互 式 的 方法 . 


习题 


1. 某 厂 生产 A,B 两 种 型 号 的 章 托 车 ， 每 悄 车 的 利 镁 分 别 为 100 元 和 80 元 . 平均 生产 时 间 分 别 尖 3 
和 2h. 该 广 每 周 生 产 时 间 为 120h, 但 可 加 班 48h， 在 加 班 时 间 内 生产 每 辆 车 的 利润 分 别 为 90 元 和 70 元 ， 
市 场 每 周 需 要 A,B 两 种 车 各 和 0 辆 以 上 ， 阿 应 如 何 安排 每 周 的 生产 计划 ,在 尽量 满足 市 场 需要 的 前 提 下 ， 
使 利润 最 太 ， 而 加 班 时 间 最 少 . 试 建立 数学 模型 . 
2. 证 明 RU { DR }c Rs 
3, 设 多 目标 规划 问题 为 
V-min Flx)= (A(x), fCxr)), 


时 , i 站 亿 居 ， 
其 中 ， 


万 (x) = (+ 全 + 二 


1 -x D0, 
nn 1, Oril, 
x x>1. 
求 RY, RI,Rib, RL,R'. 
4. 求 多 目标 规划 问题 
Vmin Flx)=(Cfi(x), ftx)), 
3s,t, TT+ Ey 三 3 
证 1 十 To+ 4 一 号， 
Ti =】 ,23,4 
在 分 层 序 列 赣 六 下 的 最 优 解 , 设 万 (z) 出 f(x) 重 要 ,其 中 
F(xF) = -2 I2, fr(#)= ~ x1. 
5, 用 习 除 法 求解 多 目标 规划 问题 
max f(x)=2x1+ zx2, 
min fi(¥)=r1- ra, 
St, 了 十 xz, 
Ti Xr, 
TI 这 1, Ty 之 0， 


6. 用 线性 加 术 法 求解 多 目标 规划 问题 
Vmin Fix}= (C(x), f(x)), 
St Adrit+8zrz 人 S12, 
I1+ x33, 
0 之 工区 1.5, ro2 人 0 
其 中 ,f(x)=2x1 一 Tx2, f(x)= -6 -x2 Mi=2/3, A2=1/3. 


= 
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动态 规划 (dynamic programming) 是 解决 多 阶 段 决策 过 程 最 优化 问题 的 一 种 方法 ,1951 
年 ,美国 数学 家 贝尔 曼 (R. Beliman) 研 究 了 一 类 多 阶段 问题 的 特征 , 提出 了 解决 这 类 问题 的 
基本 原理 ,于 1957 年 发 表 了 《动态 规划 ). | 

动态 规划 把 比较 复杂 的 问题 划分 为 若干 阶 段 ， 通过 逐 段 求解 ， 最 终 求 得 全 局 最 优 解 . 
这 种 “分 而 说 之 , 逐步 改善 "的 方法 已 在 一 些 较 难 解决 的 问题 ,尤其 是 在 离散 性 问题 中 ,， 显 
示 出 优越 性 ， 


6.1 多 阶段 决策 问题 与 动态 规划 


6.1.1 多 阶段 决策 问题 


多 阶段 决策 问题 是 指 具 有 如 下 特点 的 过 程 : 波 过 程 可 以 划分 为 若干 个 互相 联系 的 阶 
段 ， 在 每 一 个 阶段 都 需要 从 一 组 可 供 选 择 的 候选 方案 中 作出 诀 策 , 选 出 一 个 决策 方案 而 
一 个 阶段 的 决策 确定 后 ， 将 会 影响 以 后 各 阶段 的 活动 及 其 决策 . 在 每 个 阶段 的 决策 都 确定 
之 后 ， 浆 个 过 程 也 随 之 确定 . 把 每 个 阶段 的 决策 综合 在 一 起 , 构成 一 个 贯穿 整个 过 程 始终 
的 决策 序列 . 称 之 为 一 个 策略 ， 而 对 应 于 每 一 个 策略 ， 都 会 产生 一 个 相应 的 结果 . 多 阶段 
决策 优化 问题 ,就 是 要 通过 对 每 一 阶段 的 诀 策 从 所 有 可 行 的 策略 中 寻找 最 终结 果 最 佳 的 策 
略 . 

多 阶段 决策 问题 ,不论 其 本 身 是 否 与 时 间 有 关 ， 由 于 是 分 阶段 来 依次 解决 ， 便 具有 了 
骨 显 的 时 序 性 , 而 在 各 阶段 中 所 采取 的 决策 基 随 阶段 而 变动 的 ， 不同 阶 眉 采取 不 同 决策 ， 
这 便 是 “动态 "的 合 义 . 阶段 往往 可 以 用 时 段 表示 , 但 动态 规划 在 一 定 条 件 下 也 可 以 解 类 一 
些 与 时 间 无 关 的 静态 规划 中 的 晤 优化 问题 ， 只 要 人 为 地 引入 "时段" 因素 , 就 可 以 将 其 转化 
为 一 个 多 阶段 决策 问题 . 

例 6.1 最 短路 线 闻 题 ” 基 个 旅行 者 计划 用 3 天 时 间 从 A 地 走 到 DD 地 : 第 一 天 从 A 
走 到 其 个 Bi 休息 , 第 二 天 从 该 Bi 走 到 某 个 C; 休息 ， 第 三 天 从 该 C, 到 达 目 的 地 刀 . 该 地 区 
的 交通 线路 及 各 段 的 星 程 见 图 6.1, 试 求 从 4 到 DD 的 最 短路 线 . 

在 例 6,1 中 ， 整 个 旅程 可 分 为 3 个 阶段 (每 天 划 为 一 个 阶段 )， 每 阶段 初 都 需要 作出 决 
策 ; 在 可 供 选 择 的 几 条 路 中 ， 应 选择 哪 一 条 路 ; 阶段 末 ( 晚 上 ) 在 何 处 休息 ， 这 就 构成 了 一 
个 多 阶段 决策 问题 . 


.1.2 动态 规划 的 基本 概念 


多 阶段 决策 问题 可 以 通过 建立 线性 或 非 线 性 规划 模型 来 求解 , 但 是 最 常用 的 有 效 方法 
是 动态 规划 方法 , 动态 规划 处 理 何 题 的 方法 与 线性 、 非 线性 规划 有 很 大 的 不 同 ， 独 具 特 色 . 


下 面 先 介绍 动态 规划 的 一 些 基本 概念 . 

(1) 阶段 ”多 阶段 决策 问题 的 全 过 程 所 划分 的 若干 个 相对 独立 的 可 排列 成 序列 的 部 
分 ， 称 为 阶段 ， 通 常用 变量 上 表示 ,点 =1,2,… 7 

(2) 状态 ” 指 系 统 在 阶段 初始 时 刻 可 能 出 现 的 客观 自然 情况 ， 通 常用 变量 x 表示 . 
在 例 6.1 中 , 第 上 阶段 (第 关 天) 出 发 时 旅行 者 所 在 的 出 发 地 点 即 为 该 阶段 的 状态 ， 

(3) 类 全 与 策略 ”从 第 上 阶段 某 状态 xx 出 发 ， 所 采取 的 本 阶段 的 行动 方案 或 措施 称 为 
决策 ， 通 常用 w(xi) 表 示 . 在 例 6.1 中 , 第 2 天 从 地 点 Bi 出 发 时 , 决定 选择 向 C2 前 进 ， 
亦 即 第 2 阶段 状态 x 为 Bi 时 ,选择 的 决策 为 路 线 B1C2， 可 表示 为 ua(B1) = C2， 

而 第 禾 则 是 由 各 和 阶段 的 决策 按 先 后 顺序 所 构成 的 一 个 决策 序列 例如 ,车 第 1 阶段 决 
策 为 Bi, 第 2 阶段 决策 为 C1， 第 3 阶段 决策 为 DD， 则 该 策 上 略为 

tu A)= Bi, ua(B1)= C2, #3(C2)= DL. 

(4) 状态 转移 律 ” 从 第 & 阶段 的 状态 xx 出 发 , 采取 决策 za 之 后 , 得 到 第 +1 阶段 状 

寒 zi+1， 其 中 所 体现 的 状态 zi 41，Ik 及 决策 ti 之 间 的 关系 和 规律 可 记 为 

Tr+l = Tir ws ). (6.1.1) 
状态 转移 律 通常 表现 为 表格 或 等 式 的 形式 . 当 状态 转移 律 以 等 式 表 现时 ， 又 称 之 为 状态 转 
移 方程 ， 

《5) 措 标 函 教 可 分 为 阶段 指标 函数 和 过 程 指标 函数 . 

名 阶段 指 拆 函 获 ” 是 从 第 大 阶段 某 状态 rt 出 发 ， 当 采用 决策 ww 时 所 产生 的 效果 (如 
路 程 、 费用、 利润 和 时 间 等 ) 的 值 , 通常 记 为 六 . 显然 

r= ri( Th WA). (6.1.2) 

加 过 程 指标 画 数 ”是 指 从 第 阶段 基 状 态 z 出 发 ,采用 某 种 策 路 ws wi +1 tn | ， 

直到 过 程 终 结 所 产生 的 整体 效果 (路 程 、 费 用、 利润 和 财 间 等 ) 的 值 ， 通 党 以 R; 表示 . 显然 
Ri= Rw war fen) = YCrs riris rrn), (6.1.3) 
Ri 最 常见 的 两 种 形式 为 


有 = 2 (6.1.4) 


或 下 一 st wj). (6.1.5) 
当 上 天 1 时 ，R, 称 为 子 过 程 指 标 函 数 ; 当 上 =1 时 ,RR| 即 全 过 程 指 标 函 数 ， 简 记 为 RR， 
(6) 最 优化 原理 求解 动态 规划 问题 的 基本 原理 是 ; 作为 整个 过 程 的 最 优 策略 具有 这 
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样 的 性 质 ， 即 无 论 过 去 的 状态 和 决策 如 何 ， 对 前 面 所 形成 的 状态 而 言 , 余下 的 诸 决 策 必 构 
成 对 应 的 子 过程 上 的 最 优 策略 . 这 一 表述 通常 称 为 动态 规划 的 最 优化 原理 . 

{7) 动态 帘 划 的 基本 方程 ”根据 最 优化 原理 写 出 的 子 过 程 最 优 指标 函数 之 间 的 递 推 关 
系 式 称 为 动态 规划 基本 方程 ,是 计算 动态 规划 问题 的 出 发 点 . 记 第 上 阶段 从 状态 zx 出 发 的 
最 优 子 策 厂 的 子 过 程 指标 函数 值 为 疡 (zt)， 那么， 当 


下 
县 三 ri wj;). 
j= 


有 大 (zt = optiri za ar) + fril rr i. (6.1.6) 

当 R; = (Cz;, 1;), 

有 六 (ty = opt| ri (xi ut) "fri(zeri)!. (6.1.7) 

其 中 ,，“opt" 意 为 :最 优化 ”， 常 取 为 "max" 或 "min” .此 外 ,通常 还 应 有 边界 条 忻 : 
fart+ilrn+1) = C 是 常数 . 6.1.8) 


岁数 情况 下 ， 当 (6.1.6) 成 立时 , 取 C=0; 当 (6.1.7) 成 立时 , 取 C=1. 


6.2 动态 规划 模型 与 求解 


6.2.1 动态 规划 模型 


动态 规划 的 数学 模型 由 以 下 5 部 分 构成 : 
(1) 将 问题 的 过 程 划分 为 若干 个 阶段 ; 
(2) 定义 状态 变量 ， 确 定 各 阶段 的 状态 变 重 集合 ; 
{3) 定义 抉 策 变 量 ， 确 定 各 阶 跨 的 允许 决策 变量 集合 ; 
(4) 确定 状态 转移 律 ， 
(5) 定义 阶段 指标 函数 以 及 过 程 指 标 函 数 的 结构 ; 
(6) 确定 基本 方 各 及 其 边界 条 件 . 
根据 上 面 的 讨论 ， 例 5.1 中 旅行 考 最 短路 线 问题 的 动态 规划 模型 如 下 ， 
{1) 阶段 划分 , 每 天 为 一 个 阶段 , 共 3 个 阶段 ， 即 阶段 变量 取 慎 为 上 =1,2,3. 
(2) 状态 变量 及 状态 集合 ; 以 每 天 的 出 发 点 为 状态 ,zi1 = 1A1，raz = 1B1, Ba，B4|， 
rs= | Ci C2, Cs}. 
(3) 决策 变量 取 为 当天 前 进 的 目的 地 ， 于 是 决策 变量 及 允许 决策 集合 为 
uitA)E1BI, Bs, Byl, wt BE INC, C2), 
uat BE IC C2 Cal, wt BA)E TGC, Cal, u(t CY) EDL, 7=1,2,3. 
(4) 状态 转移 方程 : 前 一 天 选择 的 目的 地 即 第 二 天 的 出 发 地 ， 所 以 
Trl= CT =1,2,3. (6.2.1) 
(5) 指标 函数 . 因为 阶段 指标 函数 ry 为 第 天 所 经 过 的 上 路程， 由 于 出 发 点 为 zx,, 目的 
点 为 册 , 记 zx 与 ui 的 距离 为 zxwx， 故 有 
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了 二 上 上 


(6) 基本 方程 与 边界 条 件 : 本 问题 是 求 最 短路 线 ， 应 取 “opt" 为 "min”， 赦 有 


fr) = iminl re ze we) t fer zarr)!, k=3,2,1, 
" (6.2.3) 
fatx4) =0, 
fr) = minlrit zo ur) + fritreri)!, k=3,2,1, 
即 和 | (6.2.4] 
f(D)=0. 


56.2.2 动态 规划 的 求解 


动态 规划 的 通常 解法 是 利用 基本 方程 所 握 供 的 递 推 关系 式 道 序 她 逐 段 求 解 ， 即 先 利 用 
边界 茶 件 ,将 f(z,) 化 成 关于 xfzrs) 的 量 优 化 问题 ,获得 第 = 阶段 当 状 态 为 x, 时 的 最 优 
决策 sfz) 以 及 所 5(zm) 的 值 ; 然后 再 利用 六 (zx。) 的 值 求 第 wn -1 阶段 状态 为 x, ;时 的 最 
优 决 策 size 以 下 户 -zr )…… 如 此 继续 下 去 ,直到 得 到 第 一 阶段 状态 ri; 时 的 
最 优 决策 gifz) 以 及 万 (zi)， 则 决策 序列 uif(zi，aafza)， raf zi 即 为 最 优 策 略 ， 
而 Ari) 即 最 优 策略 所 对 应 的 指标 郑 数 值 . 

现 以 例 6.1 的 动 春 规 划 模 型 求解 为 例 具 笨 说 明道 序 求解 的 过 程 . 为 了 便于 表述 ， 以 下 
记 第 上 阶段 状态 xx 时 的 最 优 决 策 为 wz (xz;). 

对 于 =3， 由 (6.2,1),(〈6.2.3) 及 (6.2.4)， 有 

fC = mLCDT+ fp) =minj3+0|=3, ws (C1)=D, 


fs(Ca)=min( CD+ fA(D)I=min}s+01=5, wu3 (C2)=D, 


fa Ca)=min|l CD+ f(D) =mintg +01=8, wf (C)=D; 
对 于 大 =2, 有 


PFCB)- mol ad -m mn 人 0 3 = 13 3， wi (BI)=C, 
BiC2+ fal C7) 9+5 
BzCi+ fl C1) 7+3 
fi(B2}= co oem uw2 (B2) = C1,. 
BC3+ fal C3) 4+8 
疡 (Bi) = mi 人 AD] - =min 人 =， u2 (B,)= Cy; 
BaCat fa(C3) 4+8 
对 于 二 =1， 有 
4Bi+ f2(B1) 5+13 
femal te eel- ui (CA)= B,. 
AB3 + f3(B;) 7+8 


计算 结束 ， 现 可 顺序 求 出 最 惰 策 略 (最 短路 线 )， 
ui (A)= Ba (Bs)= Di 一 atCi)= 卫 ， 
邵 由 A 于 D 的 最 短路 线 是 
A~—*Bi—C, 3*D. 


从 而 A 到 D 的 最 短路 线 的 长 度 为 f(A)=14. 
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在 用 动态 规划 方法 求解 最 短路 线 问 题 时 ， 可 以 末 用 “标号 法 ”直接 将 第 上 阶段 状态 zx 

的 最 优 值 活 数 (xi) 标 在 状态 点 xz: 上 方 的 方 框 内 , 并 且 , 若 该 阶段 的 最 优 决 策 为 
WE (XE) = Atl 

就 将 对 应 的 两 点 z 和 z+1 之 间 的 连 线 画 成 粗 实 线 . 如 图 6.2 所 示 : f3(C1)=3, 就 在 点 Ci 
上 方 的 方 框 内 填 上 数字 3, 并 将 线段 CLD 描 成 粗 实 线 ; f.(B8，)=10, 且 wz (B2) = Ci， 就 
将 数字 10 填 人 点 B。 上 方 的 方 框 内 ， 同 时 将 线段 BC 画 粗 …… 这 样 ， 当 图 上 所 有 点 上 方 
的 框 内 都 填 上 数字 后 ,从 该 点 到 终点 的 粗 实 线 即 为 从 该 点 到 和 终点 的 最 短路 线 , 而 点 上 方 的 
框 内 的 数字 即 为 从 该 点 到 终点 的 最 短路 线 的 长 度 . 


6.3 动态 规划 应 用 举例 


与 线性 规划 模型 和 非 线 性 规划 模型 相 比 较 , 动态 规划 模型 的 建立 更 依赖 于 个 人 的 经 验 
与 技巧 ， 如 何 正 确定 义 状态 变量 及 找 出 基本 方程 ， 蚌 一 个 较 困难 的 问题 ， 本 书 仅 提 供 几 个 
常见 例子 , 使 读 者 对 动态 规划 模型 有 所 了 和解 ， 读 者 应 进一步 从 各 个 煤 道 了 解 动态 规划 应 用 
案 鲍 ,并 尽 可 能 地 在 实践 中 应 用 动态 规划 方法 . 

例 6.2 资源 最 优 配 置 问题 ” 某 公 司 准备 用 50 万 元 对 3 个 下 属 厂 进行 技术 改造 . 各 厂 
所 需 资金 及 投资 效益 见 表 6.1. 问 应 如 何 分 配 这 笔 资 金 ， 使 投资 总 效益 最大 ? 

解 ”首先 建立 本 问题 的 动态 规划 模型 . 

(1) 阶段 划分 : 整个 投资 过 程 可 视 为 先 确 定 对 工厂 1 的 投资 客 ， 再 确定 对 工厂 2 的 投 
资 额 ， 最 后 确定 对 工厂 3 的 投资 额 . 这 样 , 投资 过 程 可 划分 为 3 个 阶段 ， 和 第 阶段 即 为 对 
工厂 天 投资 , 有 =1,2,3. 

(2) 状态 变量 : 设 在 对 工厂 & 投资 时 所 能 支配 的 资金 数额 为 状态 迹 量 x;， 显然 ，z1 = 
50，0 委 zx 生 50， 有 =23， 

(3) 决策 变量 : 第 上 阶段 所 确定 的 对 工厂 的 投资 额 w 为 雇 策 变量 . 根据 表 6.1， 
ti1=0,10,20,， wz=0,20,30,40, #3=0,10, 县 满足 0 坊 w 志 zi, =1,2,3， 


技 改 后 年 增 利 渔 额 /万 元 


(4) 状态 转移 方程 ; 在 准备 对 工厂 名 投资 时 ， 所 能 支配 的 资金 减 去 对 工厂 的 投资 后 ， 
剩 下 的 资金 即 是 对 工厂 上 +1 投资 时 所 能 支配 的 资金 故 
Ti+l™ XE Wp. 
(5) 指标 函数 ; 表 6.1 中 所 列 的 年 增 利润 额 即 为 相应 的 阶段 指标 ( 利 渔 ) 函 数值 
rir us), 且 过 程 指标 函数 为 


3 
FR 三 Dr tj). 
(56) 基本 方程 及 边界 条 忻 : 
人 k=3,2,1, 


fatza)=0. 
例 6.2 的 求解 过 程 如 于: 
对 于 有 =3，us(0)=0，x3f 站 E 10,101, j=10,20,30,40, 有 
fyO0)= maxlrs(t0,0) + fl =0+0=0, ws (0)=0; 
fi) = maxdratj, 0 + fa ralj, 0 + fl = maxi0+0,13+0|=13, 
ns Cj)=10, j=10,20,30,40,50, 
对 于 上 ==2, 2(0)= wa(10)=0, wz(li})=7, i=20,30,40,50, j=0,20,30,40, j 所 纪 


f2(0) = maxira(0,0) + F300)} =0+0=0, wn? (0)=0; 
f2C10) = maxt rat10,0) + F3010)1 =0+13=13, ww2(10)=0; 
f2(20) = maxtr2(20,0) + f3(20), r3(20,20) + f3(0)1 
=max|lD0 + 13,28+D}=28, 2a2 (20)=20; 
f2{30) = max| rs(30,0) + f3(30), r2(30,20) + fs(10), r2(30, 30) + Ff3{0)} 
=max{0+13,28713,39+0|=41, wu?(30)=20; 
40)= max{r2(40,0) + f3(40), ra(40,20) 1 f3(20), r2(40, 30} + F3010), 
r2(40, 40) + fa(0)1 
=max|0+ 13,28+13,39+13,42+0|1 =52, x2 (40) = 30; 
ftS0) = max| rat50,0) + £3(50), 7r2(50,20) + F330), rat50, 30) + f3(20), 
r2(50, 40) + fs(10)}, 
=maxl0 + 13,28+13,39+13,42+13}=55, w/ (50)=40; 
对 于 并 二 加，w1(50)=0,10,20,， 有 


ce 


四 网 站 一 误 轴 田 功 自 岂 辆 


本 
| 


Fy rl Ee er 户 呈 Br = 目 、 
EEEEL EEREE 


08 + 


| 
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50) = maxlri(50,0) + F2050), r1(50, 10) + F2040), r2(50,20) + F2030)1} 
=max|0 + 55,15+52,26+4d1|=67， ?7 (50)=10 或 20.， 

从 上 面 计算 结果 可 知 ， 最 优 投资 方案 有 两 个 ， 

方案 工 ; wf (50})= 10 一 a7 (40)=30 一 x3 (10) = 410， 即 对 工厂 1,2,3 的 投资 依次 为 
10，30，i0 万 元 , 年 新 增 利 泪 依 次 为 15，39,13 方 元 , 合计 67 万 元 . 

方案 正 ， ar (50) = 20 一 wz (30)=20 一 u3 (10)=10， 即 对 工厂 1,2,3 的 投资 依次 为 
20，20，10 万 元 ,年 新 增 利 润 依次 为 26,28, 13 万 元 , 合计 67 万 元 . 

悄 6.3 设备 更新 闻 题 ”一 台 设 备 的 价格 为 已 ， 运 行 寿命 为 n 年 ， 每 年 的 维修 费用 是 
设备 役 龄 的 函数 ， 记 为 C(z)， 新 设备 的 役 龄 为 上 =0. 旧 设 备 出 上 仿 的 价格 是 设备 役 龄 的 疯 
数 , 记 为 S(1), 在 na 年 未 ,， 役 龄 为 上 的 设备 残 值 为 只 (t. 现 有 一 全 役 龄 为 工 的 设备 ,在 
使 用 过 程 中 ,使 用 者 每 年 都 面临 ^ 继 续 使 用 "或 “更 新 "的 策略 . 

阶段 上: 运行 年 份 ; 

状态 变量 rt: 设备 的 役 龄 ; 


决策 变量 wx : 
_ 人 ， 《Replace) 更 新 ， 
“4 【K，《〈Kesp) 继 续 使 用 ， 
状态 转移 方程 为 
加 1, wr = RR, 
tl, w=K 
阶段 指标 为 
-CO sen) ui=R, [P+C(0)-S(t), w=R, 
6 C(xi), w=K Cfi)， ur =K. 
递 推 方程 为 


P+ C(O0)— S(txe) + ne 二 民 ， 
Clix) 二 feri( xrer) tt 二天、 
_ 忆 + C0) - SC) 十 fe = 及 ， 

= mn 


(rt) = min 


CE) + frilt + 1) ue = K. 
终端 条 件 为 
hit)= RCL). 
具体 数据 见 表 6.2， 
讲 6.2 


且 #=5, T=2, P=50. 


由 表 6.2 开始 ,终端 条 件 为 
fotl)= ~25, fe(2)= -17, fe(3)= -8, fe(5)= f6(6)= f6(7) =0. 
对 于 上 =5, 有 


PS us 二 R, 
fs\t) =min ClE) + folt + 1) us= K; 
P+C(0) ~ S(t) + fell) sO0+10-32+(-25) 
fst1) -mel + fi(2) |- minl 1 (_ 17) 
-mn -4 us = KK; 
P+C(0)- SQ) +f /50+10-21+(-25) 
fs(2) = min C2) + £6(3) | ini20 +(- 8) 


14 


= rnin 


中 = 2, us = K:; 


sD+10-11+(-25) 


P+ C(O0)— S(3)+ |- . 
fs(3) -mn| 一 mini140 + 


C(3) + fol4) 


=minl | 24, ws = 及 ji 
P+C(0)— S(4) |- | [+1075+ 2 
fst4} = -min| Ci, + fs(5) mi70+0 
-min| 2 = aa Dy = ER; 
P+ C0) - S(5) “#00)- . (3 +10-0+ 5 23) 
fs(5) = ee + fs(6) M00+0 
3 
-ml | = 35, us = ERE; 
[P+ C(0) - 8(6) 0) . (+1070+ 二 | 
f5(6) = min C(6) + fe) = mintloo + 0 
35 
-min |- 35, us = ER. 
对 于 上 = 4 ,有 
P+C(0) -SC “| ws = R, 
fMRI ce) + fs +1) w= K; 
| en C0) - S{1) 0- [50+10—-32+ | 
fatl) = min CD + PC2) min| 3 4 12 
-min (2 |=24 += R; 
P+C(0) — S$(2) sr ， in|20 10 - 21 + (| 
C(2) + fs(3) 20 + 24 


35 
44 


= tmin 


ft2) in| 


= 35, u4 = R; 


回 琅 图 瑟 园 图 


过 


和 


P+C(0) — S03) + 六 (人 [530+10-11+({-4) 
加 | f4(3) = ls |- in| 4 1 30 
图 | 
加 | -mi = = RR; 
四 | 刀 
图 ew 0 ran , 0+10-5*+ 04) 
加 | f4(4) wmin| Ca) + fsls) Ml70 + 35 
妖 | 5 
图 | = min = Sl, wu4 = RR; 
里 | (5) = an 人]- mn 了 0 0 人 | 
加 1 CS + fs(6) 00+35 
四 : -mn( |- 56, ue 二 R. 
对 于 =3, 有 
辐 | Al) mn | us = 民 ， 
| ? CY + e+ 和 ui3= KC; 


PT+TCI9 -SCL) + | . (2 +10— 32+ ”| 
= mn 


At11 le + f4(2) 13 + 35 


nj| = 4 u3 = Ks 


fs(2} = min 


eh 
= 
加 园 因 国 轩 图 轩 苞 


P+C(0) - Ss)+ ze]- 四 
CO + f4(3) 四 


+ 
"\20 + 45 


3， uy = R; 


f3(3) = min 


ed 


ni 
40D + 5 


a 了 PP +CIO) - 3S(3) + 六 |- _ 
C3) + fl4) TT™ 


73 
= min = 73, uy = R: 


. p+ C0) _sdo + fut) ~ [50+10~5+24 
f3(4) = min| C4) + £05) | minl70 + 56 
-min| }= 79， ws 三 RR 
126 
对 于 上 = 2 ,有 
JP+C(0) -S(O) + HD) zz = R, 
f2l2) -aa + fatt + 1) us = K:} 
[P+ (0) ~ S{1) + fl1) [50+10-32+48 
f(D) -lc + f3(2) | "ty + 63 
-min(75)= 76， wz = 改 或 者 az = RR; 


"210 "| 


人 人 . (+ 
mc + f(3) 0+73 
. 人 2 ， 
= min 93 = 87, uz 二 及; 
(3) mm | | [++ 
3) mn C03) + fs(4) la0+79 
-min| 7 }- 73， #47 三民 
让 119 
对 于 二 = 1， 
| al = R, 
人 mn Cy + f+ ui= KK; 
(2) mi |- . (了 “| 
A) min C2) + 户 (3) Tl20 + 97 


115 ， 
=min| |- 115, wi = R. 
i117 


由 以 上 计算 可 知 ， 本 问题 有 两 个 决策 ,它们 对 应 的 最 小 费用 都 是 115. 两 个 决策 见 
表 66.3， 
家 6.3 


习 题 


1. 某 科 研 项 目 由 3 个 小 组 用 不 同 的 手 殿 研究， 他 们 失败 和 的 概率 为 0.4, 0.6, 0.8. 为 了 减少 了 个 小 组 
都 失败 的 可 能 性 ， 现 决定 给 3 个 小 组 中 增 猎 两 名 高 级 科学 家 ， 到 各 小 组 后 , 各 小 组 科研 项 目 失 赂 概率 见 
表 6.4. 问 姐 何 分 泊 科 学 家 才能 使 3 个 小 组 都 失败 的 概率 ， 即 科研 项 目 量 终 失 败 的 概率 最 小 ? 

可 6,4 


高 级 科学 家 数 


2. 某 笋 场 有 资金 15000 元 ， 用 来 买 A,B 两 种 牛 . 每 花 1000 元 详 A,B 和 牛 后 ， 当 年 及 以 后 每 年 各 可 出 
生 2,3 头 小 牛 , 且 当 年 各 获 利 500，200 元 ; 以 后 每 年 下 按 此 比例 的 资金 继续 买 牛 . 间 今 后 4 年 应 如 何 买 
牛 才 能 使 第 4 年 末 的 牛 群 最 大 ? 

3, 某 工 厂 有 三 种 产品 鹤 备 参加 展销 , 各 产品 质 直 与 利 洒 关 系 见 宪 6.5. 展销 名 运输 车 运送 总 质量 不 
能 超过 61, 问 上 应 该 怎样 安排 参展 ,才能 使 总 利润 最 大 ? 

表 6.5 


产品 种 类 | 1 | 2 3 


利 澳 10 180 


回回 团团 加 自习 


'212 ， 


加 用 加 秋 目 国 罚 回国 四 图 轩 六 


国 加 辐 恩 到 因 因 国 四 图 国医 


4， 用 动态 规划 解 非 线性 规划 问题 
max Z=7ri+6xr1t+ Sr?, 
St， Ti+ 二 10， 
Ti 一 3z2<s9， 
rl X20. 
5. 用 动态 规划 解 宫 题 
max Z=brl+7r2, 
5.t. 2x1+ zs10， 
5x1+2x2715, 
zl 2 为 非 负 整数 . 
6. 某 厂 生产 一 批 机 械 设备 ,根据 市 场 调查 , 今后 4 个 时 期 该 产品 需求 量 依次 为 2, 3, 2, 4 台 , 该 厂 每 
期 最 大 生产 能 力 为 6 台 , 每 期 生产 岩 定 费用 为 3 万 元 ， 若 不 生产 ， 则 轩 定 费用 为 各 元, 单 台 成 本 1 万 元 ， 
每 期 贮存 保养 费 为 每 台 0,5 万 元 , 若 第 1 期 初 和 第 4 期 末 无 库存 ， 试 确定 各 期 产量 ,使 总 费用 最 少 . 


蒙特 卡 罗 (Monte-Cario) 方 法 是 一 种 利用 重复 的 统计 实验 求解 物理 和 数学 问题 的 方法 ， 
它 是 在 20 世纪 40 年 代 中 期 随 效 科学 技术 发 展 ,特别 是 核武 器 研制 和 电子 计算 机 发 明 而 提 


出 的 ， 这 类 问题 可 以 直接 或 间接 地 用 一 个 随机 过 程 描述 ， 蒙 等 卡 罗 方 法 就 是 设法 模拟 这 个 
过 程 . 


7.1 基本 原理 和 方法 


7.1.1 蒙特 卡 罗 方 法 的 基本 原理 


在 对 大 量 的 研究 对 象 进行 调查 分 析 时 ， 有 了 两 种 基本 方法 : 普查 与 随 宙 铀 样 . 穷 举 法 就 
是 对 所 有 研究 对 象 进行 普查 ,其 优点 是 结论 完全 可 靠 , 但 工作 量 大 ,适用 于 较 小 规模 问题 . 
而 当 问 题 的 规模 很 大 时 , 通常 应 采用 随机 抽样 ， 对 随机 抽取 的 样本 点 进行 研究 ， 由 样本 点 
的 性 质 来 推 新 原 问 题 全 面 的 性 质 ， 这 样 处 理 的 工作 量 相对 较 小 ,可 操作 性 强 ， 只 要 随机 卸 
样 得 当 ， 结 论 的 可 共性 就 可 以 得 到 保证 . 

困 蒙 特 卡 罗 人 链 化 方法 处 理 问 题 ， 其 解答 往往 是 构 遗 某 事件 出 现 的 概率 或 某 个 随机 变量 
的 数 党 期望， 在 计算 机 上 通过 某 种 用 数字 进行 的 假想 “试验 "， 得 到 这 种 事件 出 现 的 频率 或 
者 这 个 随机 变量 具体 取 值 的 算术 平均 值 ， 并 用 它 作 为 问题 的 近似 解 . 

利用 蒙特 卡 罗 优 化 方法 的 思想 建立 模型 ， 采用 Matlab 语言 编程 ， 在 计算 机 上 进行 模拟 
试验 , 能 够 解决 非 线性 规划 的 寻 忧 等 实际 问题 . 


7.1.3 和 随机 数 产 生 原 理 


用 蔡 特 卡 罗 方 法 求解 一 个 问题 时 ， 基 本 工具 就 是 一 组 数据 ， 称 为 随机 数 . 可 以 用 一 组 
随机 数 来 代替 某 些 随机 过 程 中 的 变数 . 当然 ,这 组 随机 数 与 随机 过 程 中 的 变数 应 具有 相同 
的 统计 性 质 , 同时 , 随机 数 的 来 源 原则 上 应 该 是 无 止境 的 ,并且 数 与 数 之 间 也 应 当 是 相 瑟 
独立 、 不 具 任 何 关联 的 ， 否则 随机 数 就 不 “随机 ”了 ,而 变 成 有 规律 可 循 的 "规律 " 数 了 .由 
于 计算 机 中 的 随机 数 是 用 确定 法 划 获 得 的 ， 因而 称 之 为 人 随机 数 . 由 “ 伪 " 通 “ 实 "， 理 论 上 
非常 深入 ， 辐 时 也 是 评价 方法 优 劣 的 权重 . 

产生 随机 数 是 蒙特 卡 罗 方 法 的 基础 近年 来 国际 上 热门 的 一 些 新 方法 包括 线性 司祭 
法 、 非 线性 同 余 法 、Fibonaeci 序列 、Tausworthe 序列 、 进 位 加 - 借 位 减 发 生 器 法 ， 以 及 乘 子 
和 堵 量 也 在 递 推 中 变化 的 复合 率 数 发 生 器 和 基于 混沌 映射 产生 随机 数 的 方法 ， 特 别 是 构造 
忧 良 的 组 合 发 生 器 . 比较 有 影响 的 是 关于 混沌 映射 和 组 合 发 生 器 ， 

An 研究 了 混沌 映射 (chaotic mapping) 产 生 随 机 数 的 方法 , 使 用 递 推 式 

《372)3i 174， Di<172， 


Yt Dy -14，12<<1 


图 


218: 


并 指出 此 递 推 式 可 产生 早期 趋 于 无 穷 的 序 剂 ， 其 经 验 分 布 的 极限 分 布 为 
Fly)= (La(y+1/2)+ Ln2)/ Ln3). 
恨 据 产生 随机 数 中 的 概率 理论 ， 若 随机 变量 5 的 分 布 本 数 为 Fy), 则 6 F(9) 服 内 UC0， 
1) 均 名 分 布 . 于 是 由 
Ti=Ln(y t+]1/2)/ Ln3 

得 到 的 序列 1x1 可 着 作 有 U0, 1 分布 的 随机 序列 . 因 随 机 序列 1y;} 是 元 限 不 钳 环 的 ， 所 
以 上 述 方法 可 以 产生 周期 为 无 限 的 U(0,1) 均 匀 分 布 的 竹 机 序列 ， 

组 合 发 生 器 的 两 个 重要 理论 成 果 来 自 Deng-George 和 杨 自 强 、 张 正 军 的 推广 形式 ， 

定理 7.1 设 这 个 ， x 中,…, zx" 是 区 则 (0, 1) 上 的 独立 随机 变量 ，c1, cz, …,ew 是 党 


数 ， 又 设 z = | Wert | mod! ， 车 z 中 一 U0,1), 且 ;是 整数 , 则 | x 一 (0,1). 


定理 7.2 设 = ”是 区 则 (0， 1) 土 的 独立 随 
机 变量 ， 其 密度 函数 分 别 为 fr), f(r2),…, f(xm)， 叉 设 


EC 是 整数 ， 三 | Bo mod, 工 的 密度 函数 记 


为 F(z)， 着 [C2) -il 区 712 mm， 则 1f(r) -1 所 
ITs. 进而 有 x 一 > U(0.1)， 考 Is 0. 


定理 了 .2 意味 着 几 个 独立 且 近 似 均匀 的 随机 变量 的 线性 组 
合 了 是 一 个 近似 均匀 的 随机 变量 , 但 其 分 布 比 组 成 它 的 任何 一 
个 变量 更 接近 UT(0,1) 均 名 分 布 ， 


7.2 基本 方法 和 流程 图 


外 加 本 和 加 六 加 固 包 用 好 图 


th 
| 
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设 问 题 为 
min flx), 
s.t. zxED. 
蒙特 卡 罗 方 法 的 算法 步骤 是 : 


{1) 预 置 工 为 充分 大 的 正 数 ， 确定 选 点 个 数 M. 
{2) 用 随机 消 数 及 条 件 限制 产生 可 行 点 . 

(3) 计算 目标 函数 : 下 = f(x). 

(4) 比较 函数 值 : 若 下 之 工 ， 转 (6); 否则 , 转 (5). 
(5) 记录 当前 最 优点 的 信息 ; 工 = 下 ,二 = 工 . 

(6) 车 已 选 完 M 个 可 行 点 , 输出 zx 和 工 ; 否则 , 转 (2), 寻找 下 一 个 可 行 点 . 
蒙特 卡 男方 法 的 算法 流程 见 图 7.1. 


7.3 ”约束 条 件 的 处 理 


对 同一 个 约束 优化 问题 其 构成 可 行 域 的 约束 条 件 可 以 有 多 种 等 价 的 形式 , 但 是 在 利 


-14 .1 用 蒙特 卡 罗 优化 方法 编制 程序 时 ， 约 束 条 件 的 不 同 表 达 形 式 将 对 程序 的 难 易 程度 及 计算 效 


率 产 生 直 接 影 响 . 因此 ， 应 根据 约束 的 类 型 对 原 问 题 的 约束 条 件 作 相应 的 处 理 . 
7.3.1 不 等 式 约束 情形 


随机 孙 数 rand(1) 产 生 的 是 均匀 分 布 的 随 横 的 正 的 纯 小 数 ,但 一 般 的 优化 问题 的 变 重 
的 取信 范围 往往 不 是 [0, 1] 区 间 , 例如 是 


a 守 Tb， {7.3.1) 
这 时 , 可 作 一 个 从 [0, 1] 久 间 到 [a，&1 区 间 的 映射 ， 令 
x=a+{b-a)*rand(l), (7.3.2) 


这 样 就 可 以 产生 [a,2] 区 间 上 的 随机 数 ， 
对 于 一 般 的 不 等 式 ， 也 应 尽 可 能 先 化 为 类 位 于 (7.3.1) 的 形式 ,月 按 (7.3.2) 的 形式 编 
制程 序 ， 可 以 大 大 篇 化 程序 . 
例 7.1 
min 所 式 ) 一 3z1 一 42z 和 十 5512 


st. 工 L 一 工 8S9， 


Xx1T2+ X37, 
3x1 + 12 ~ X15, 
-人 97T 寺 4， 
X10, 
可 以 将 约束 条 件 改 写 为 等 价 形式 ， 有 
st， “0rd 
0 妇 zi 妇 xz +9, 
Er 
产生 随机 数 的 可 行 点 的 程序 段 加 下 ，; 
x2= -9+13*randt1); 
xl=((x2)2+9) * rand(1); 
x3=3x(x1)+(x2) ~ 5+ (12— (x1) * (x2) —- 3x (x1) ~ (x2)) # rand(1); 


7.3.2 等 式 约 东 情 形 
当 约 束 条 件 中 出 现 等 式 约 束 时 ， 将 使 自由 变 划 的 数量 相应 减少 ， 有 可 能 用 一 些 变量 来 


表示 郧 一 些 变量 ， 使 得 程序 简化 ， 
例 7.2 设 某 约束 优化 问题 的 约束 条 件 为 
St. 3z+ yy 2z = 420， 有 
9z~ 4y+22z = 1820， | 区 

— Szx— 了 92 十 Ww 入 一 7， 


了 20, y 字 0, z 字 0, ww 站. 
首先 ， 将 前 两 个 等 式 联 立 ， 可 解 出 
T=(S00 一 2z)73， 
Jy4z 一 80， 
六 为 工 闻 0，? 芝 0， 


rEEE EDEL 


所 以 500 —2z 守 0, 且 4z -80 守 0， 
划 20 委 z 妇 250. 
于 是 ， 原 问题 的 约束 条 件 等 价 于 
st, 20<z<250， 
r=(500-2z)/3, 
y= 4r -80, 
OwIr +2y: -7. 


7.3.3” 蒜 数 变量 的 情形 


在 第 4 章 讨 论 了 整数 规划 的 解法 . 虽然 整数 规划 的 可 行 点 的 数 最 比 去 掉 整 数 要 求 后 所 
得 的 松弛 问题 的 可 行 点 的 数量 少 得 多 ,但 是 寻求 整数 优化 的 最 优点 的 计算 量 却 比 解 松弛 问 
题 大 得 多 . 然而 , 这 种 情形 在 采用 蒙特 卡 罗 优 化 方法 时 将 不 复 存 在 ,可 以 轻而易举 地 得 到 
满足 所 有 约束 的 随机 整数 点 . 由 于 当 纯 整数 规划 的 可 行 域 有 界 时 ， 其 可 行 点 的 数量 有 限 ， 
因而 蒙特 卡 罗 优 化 方法 解 纯 整数 规划 将 特别 有 效 . 
在 Matlab 语言 中 ，ftloor(x) 扎 车 一 个 不 大 于 = 的 最 大 整数 ， 将 取 整 范 教 与 随机 函数 复 
合 使 用 ， 就 可 产生 所 需要 的 随机 整数 . 例如 ， 
车 rand(1) 二 0.0000001， 惑 100 x rand(1) =0.00001， 则 
floor(100 * rand(1}}=0 
车 rand(1) =0.999999999， 则 100 x rand(1) = 99.99999， 风 
floor(100 * rand(1)) = 99 
所 以 ， 复合 函数 floor(100 * rand(1)}) 将 产生 0 一 99 共 100 个 随机 数 . 一 般 而 言 ， 设 M 
是 正 整数 ,， 则 复合 函数 floor(M * rand(1)) 将 产生 0 一 (M 一 了 0) 共 M 个 整数 . 下 面 举例 说 明 
如 何 处 理 整数 变量 约束 问题 ， 
例 7.3 设 某 个 整数 规划 的 约 东 条 件 为 
3.t. Drz<s600， 
200 扫 7 所 1100， 
TY, 
工读 0，y 之 0，z 守 0， 
;yz 均 为 整数 ， 
经 分 析 可 知 ,= 的 取 值 为 0,1,2,…,600 共 601 个 整数 ，y 的 取 值 为 200,201,202,…,1100， 
可 表示 为 200+0，200+1， 200+2,…,200+900, 共 901 个 整数 ， 而 定 下 z 与 y 的 值 之 后 ， 
如 果 满 足 只 - z 节 0 则 z 的 取 值 范围 为 z，z +1…，, y?, 共 (y? 一 之 +1) 个 整数 , 据 此 ,用 
锭 特 卡 罗 方 法 解 此 整数 规划 的 程序 中 ， 产 生 随 机 数 的 可 行 点 的 程序 段 如 下 ， 
x= floort S01 * randt 1)) 
y=200 + floor(901 * rand( 1)) 
fy2-x>0 
z=x+ floortrand(1)} # (y2—x+1)) 
end 
XY 


以 上 所 介绍 的 只 是 一 些 最 基本 的 原则 与 方法 ， 在 处 理 实际 问题 的 时 候 ， 应 针对 问题 的 


特殊 性 如 活 应 用 ,另外 ， 作 为 一 个 实用 的 程序 ,还 应 考虑 如 何 处 理 意外 情形 ( 鲍 如 可 行 域 是 
空 集 },， 给 出 相应 的 信息 . 


7.4 非 线性 规划 的 优化 解 


蒙特 卡 罗 方 法 具有 许多 显著 的 优点 ， 竹 序 简单 、 计 算 量 小 , 还 有 可 能 获得 全 局 最 优点 . 
蒙特 卡 罗 方 法 除了 可 以 独立 寻求 最 优 解 外 ,往往 还 与 其 他 算法 相配 合 . 许多 算法 对 初始 点 
都 有 不 同 的 要 求 ， 一 般 而 言 ， 初 始点 离 极 小 点 越 近 , 即 初 始点 的 函数 值 越 好 ， 则 算法 越 有 
效 , 这 时 , 可 以 先 使 用 蒙特 卡 罗 方 法 找到 较 好 的 初始 点 ， 然 后 改 用 其 他 优化 方法 , 另外 ,有 
的 算法 {如 可 行 方 向 法 、 内 点 法 ) 对 初始 点 的 可 行 性 有 较 高 鸡 要 求 ， 当 问题 约束 条 件 很 复 染 
时 ， 很 难 任 人 的 直觉 找到 符合 要 求 的 点 ， 这 时 ， 也 可 利用 蒙特 卡 罗 方 法 先期 找到 局 部 优化 
问题 满足 条 件 的 初始 解 ， 司 优化 寻 解 过 程 得 以 延伸 . 

俩 7.4 求解 非 线 性 规划 间 题 

min f(r)}=3zri- drit+Srira, 
s.t, Z1 一 了 39， 

工 1E2 十 工 3 安 了 ， 

371+ za XI, 

一 9S 荆 < 妇 4， 

zi 之 0， 

经 过 约 东 变换 ， 原 问题 化 为 

min jz)=3z1 423 十 S71X3; 
st， 一 Orzs4， 

Orl< 娘 dz +9， 

3T1t+ rT2— STI ~ TI2 

利用 Matlab 编程 实现 为 : 

L=input(’ set an enough number L=") 

M = inputt{ set the nutnber of dots M= 

tor N=1: M 

= 9+13 rand(1); 
xl ={(x2)2+ 0) rand(1); 
x3=3* (Cx1)+ (x2) -5+(12— (x1}* (x2) -3% (x1) — {x2)) * rand(1); 
if 12- (x1) x (x2) -3x*xl-xw2>=0 
f=3# (x1)2— (x2)2+ 5 (x1) * (x3); 
站 {<L 
L=f; 


end 


end 


[ 
优 


‘218 :| 
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运行 程序 ,可 以 得 到 ， 当 M = 100000 时 , 工 = -375.9693; 当 M = 200000 时 , 上 = 
-377.9723. 由 此 可 见 , 运行 结果 也 比较 平稳 . 

可 行 域 和 目标 函数 的 复杂 性 对 蒙特 卡 罗 方 法 不 构成 特别 的 障碍 ， 并 且 随 着 随机 数 发 生 
惕 利 谋 差 理论 的 不 断 完善 , 解 的 精确 度 问 题 也 将 得 到 解决 . 


习 是 


1. 用 器 特 卡 罗 法 求解 线性 规划 间 题 
min 3xz1-272+ xX, 
Bt. X71 3r2+ Ts=1, 
2x1+3x2 8 
并 1， 工 2， 工 3 2 眉 . 
2. 用 蒙特 卡 岁 法 求 甫 整数 规划 问题 
max 2Z=65r1+80r:+ 0r:, 
8.t. 2r1+3r+ zxats5, 
Xl 了 2 工 3 由 
lzr2rzrs 是 整数 
3, 用 营 特 卡 岁 法 求解 非 线 福 整 数 规划 问题 
min flx)}= r+ ziTrt+ Sri+3c4, 
st. 2 十 22 + 90， 
-1 和 zi 入 18， 
ZT1: X24 3 是 整数 . 


| 
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